helm chart安装kubesphere一直失败,ks-apiserver pod一直处于creating状态

steven-chen

创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。如果未按模板创建问题，管理员有权关闭问题。
确保帖子格式清晰易读，用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。

操作系统信息
虚拟机 Ubuntu

Kubernetes版本信息

KubeSphere版本信息
kubesphere版本：v3.4.1(v3.4.0也是)

通过helm chart安装ks-install的chart部署

问题是什么
2个问题：

1）kubesphere-config这个configmap生成的特别慢(10分钟以上)

2）kubesphere-config里面的jwtSecret一直是空的，导致ks-apiserver一直起不来处于creating状态，

kubesphere-config：

Cauchy

steven-chen

kubesphere-config 这个configmap是需要等所有组件创建完成后才会创建更新，所以比较慢，时间也跟集群性能有关。

kubesphere-config 这个 configmap 创建出来之后，ks-apiserver应该就可以正常启动了，跟 jwtSecret 这个字段应该没有关系。
有 ks-apiserver 这个pod 的 describe 信息的话可以贴出来看下。

另外可以使用apply yaml的方式安装 3.4.1

kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.4.1/kubesphere-installer.yaml
kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.4.1/cluster-configuration.yaml

steven-chen

我们线上的部署方式一般是用helm chart的方式的

steven-chen

ks-apiserver需要用到kubesphere-config里面的jwtSecret吧？

steven-chen

ks-apiserver里面只有一行err long:

E0111 03:45:08.082382 1 run.go:74] “command failed” err=“JWT secret MUST not be empty”

Cauchy

kubectl get secret kubesphere-secret -o jsonpath='{.data.secret}'

看下这个secret里的内容，如果是空的话，把这个secret删掉，重启下ks-installer试试看

steven-chen

不是空的，是正常的。

steven-chen

每次都是一样，这一步卡住，kubesphere-config生成不出来，等了10分钟以上，有了之后，里面的jwtsecret是空的，ks-apiserver就报错了

steven-chen

这是kubesphere的bug吗，求大佬帮看下

steven-chen

Cauchy

https://github.com/kubesphere/helm-charts/tree/master/src/test/ks-installer

是用的这个chart么，这个应该还没有适配 ks v3.4.0 v3.41，里边的配置可能有些不兼容。

直接apply 这两个yaml 也有这个问题么？

kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.4.1/kubesphere-installer.yaml
kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.4.1/cluster-configuration.yaml

steven-chen

不是，是这个：https://github.com/kubesphere/helm-charts/tree/master/src/main/ks-installer

Cauchy

steven-chen
https://github.com/kubesphere/helm-charts/tree/master/src/main/ks-installer

这个chart 我看里边的 ks 版本是 3.2.1

可以尝试做两处更新试试

chart里 template/clusterrole.yaml 里的内容用新版本的更新下
https://github.com/kubesphere/ks-installer/blob/cdd3d677f2bbdcd8c97186bf569cbc9c1deda82d/deploy/kubesphere-installer.yaml#L31
chart 里 values.yaml 中cc配置，用新版本的cc配置更新一下
https://github.com/kubesphere/ks-installer/blob/cdd3d677f2bbdcd8c97186bf569cbc9c1deda82d/deploy/cluster-configuration.yaml#L10

steven-chen

apply 的部署方式不行，不规范，一般是helm chart

steven-chen

ks-apiserver一直起不来，cache不了，这个能帮看下吗？

steven-chen

这又是什么bug，没有跑成功过一次😂

Cauchy

steven-chen
可以把 kubefed 先卸载掉，然后重启 ks-installer，观察下kube-federation-system 里的pod状态和ks-installer的日志。
helm del kubefed -n kube-federation-system
kubectl rollout restart deploy ks-installer -n kubesphere-system

建议可以先按照官网文档中提供的两个 yaml 部署测试，没问题的话可以按上边描述的方法尝试将两个 yaml 中的内容更新到chart中。可行的话可以顺便帮忙更新下仓库里的 chart