创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。如果未按模板创建问题，管理员有权关闭问题。
确保帖子格式清晰易读，用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。

操作系统信息
物理机，OpenEuler 22.03 LTS，48C/128G

Kubernetes版本信息
将 kubectl version 命令执行结果贴在下方

Client Version: version.Info{Major:“1”, Minor:“23”, GitVersion:“v1.23.10”, GitCommit:“7e54d50d3012cf3389e43b096ba35300f36e0817”, GitTreeState:“clean”, BuildDate:“2022-08-17T18:32:54Z”, GoVersion:“go1.17.13”, Compiler:“gc”, Platform:“linux/amd64”}

Server Version: version.Info{Major:“1”, Minor:“23”, GitVersion:“v1.23.10”, GitCommit:“7e54d50d3012cf3389e43b096ba35300f36e0817”, GitTreeState:“clean”, BuildDate:“2022-08-17T18:26:59Z”, GoVersion:“go1.17.13”, Compiler:“gc”, Platform:“linux/amd64”}

容器运行时
将 docker version / crictl version / nerdctl version 结果贴在下方

[root@njoffice04 ~]# docker version

Client:

Version: 20.10.8

API version: 1.41

Go version: go1.16.6

Git commit: 3967b7d

Built: Fri Jul 30 19:50:40 2021

OS/Arch: linux/amd64

Context: default

Experimental: true

Server: Docker Engine - Community

Engine:

Version: 20.10.8

API version: 1.41 (minimum version 1.12)

Go version: go1.16.6

Git commit: 75249d8

Built: Fri Jul 30 19:55:09 2021

OS/Arch: linux/amd64

Experimental: false

containerd:

Version: v1.4.9

GitCommit: e25210fe30a0a703442421b0f60afac609f950a3

runc:

Version: 1.0.0-rc3

GitCommit: efce815f50e77075d10070d724aeec93660630a7

docker-init:

Version: 0.19.0

GitCommit: de40ad0

KubeSphere版本信息
v3.3.1 在线安装, 使用kk安装。

官方文档 安装Ceph

https://kubesphere.io/zh/docs/v3.3/installing-on-linux/persistent-storage-configurations/install-ceph-csi-rbd/

问题是什么

  1. clusterID: “cluster1” , 此处应该将待一下, 需要替换成 ceph 集群的fsid

否则扩容时会报错

resize volume “pvc-493171e0-fa52-4e8d-9362-869bfd3d162a” by resizer “rbd.csi.ceph.com” failed: rpc error: code = Internal desc = failed to fetch monitor list using clusterID (cluster1): missing configuration for cluster ID “cluster1”

  1. 文件 /root/ceph-csi-rbd-sc.yaml 会自动创建同名 VolumeSnapshotClass, 但是无法快照, 报错

    Failed to check and update snapshot content: failed to take snapshot of the volume 0001-0008-cluster1-0000000000000006-ac9915d6-769e-11ed-b99c-aeae15d7c828: “rpc error: code = Internal desc = provided secret is empty”

原因是: 缺少配置

csi.storage.k8s.io/snapshotter-secret-name: csi-rbd-secret

csi.storage.k8s.io/snapshotter-secret-namespace: kube-system

我通过新增加新的定义 VolumeSnapshotClass ,创建了新的快照类解决了, 不清楚是否可以加上存储类定义参数下面

希望文档可以完善, 帮助后面使用者减少麻烦

8 天 后