• 安装部署DevOps
  • 【已解决】离线状态安装kubesphere运行正常,后来开启devops失败,ks-jenkins容器无法ready

创建部署问题时,请参考下面模板,你提供的信息越多,越容易及时获得解答。如果未按模板创建问题,管理员有权关闭问题。
确保帖子格式清晰易读,用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题,不能指望别人花上半个小时给你解答。

操作系统信息
虚拟机,CentOS Linux release 7.9.2009 (Core),4C/16G

Kubernetes版本信息
[root@k8s-01 etc]# kubectl version

Client Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.2", GitCommit:"092fbfbf53427de67cac1e9fa54aaa09a28371d7", GitTreeState:"clean", BuildDate:"2021-06-16T12:59:11Z", GoVersion:"go1.16.5", Compiler:"gc", Platform:"linux/amd64"}

Server Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.2", GitCommit:"092fbfbf53427de67cac1e9fa54aaa09a28371d7", GitTreeState:"clean", BuildDate:"2021-06-16T12:53:14Z", GoVersion:"go1.16.5", Compiler:"gc", Platform:"linux/amd64"}

容器运行时
[root@k8s-01 etc]# docker version

Client: Docker Engine - Community

Version: 20.10.7

API version: 1.41

Go version: go1.13.15

Git commit: f0df350

Built: Wed Jun 2 11:58:10 2021

OS/Arch: linux/amd64

Context: default

Experimental: true

Server: Docker Engine - Community

Engine:

Version: 20.10.7

API version: 1.41 (minimum version 1.12)

Go version: go1.13.15

Git commit: b0f5bc3

Built: Wed Jun 2 11:56:35 2021

OS/Arch: linux/amd64

Experimental: false

containerd:

Version: 1.4.6

GitCommit: d71fcd7d8303cbf684402823e425e9dd2e99285d

runc:

Version: 1.0.0-rc95

GitCommit: b9ee9c6314599f1b4a7f497e1f1f856fe433d3b7

docker-init:

Version: 0.19.0

GitCommit: de40ad0

KubeSphere版本信息
v3.1.1。在已有K8s上离线安装。

问题如下

使用了一段时间的KS之后,需要开启devops,按照文档https://v3-1.docs.kubesphere.io/zh/docs/pluggable-components/devops/ 中的“在安装后启用DevOps”的教程开启了DevOps

ClusterConfiguration如下:

命令行查看ks-install安装日志如下:

TASK [ks-core/ks-core : KubeSphere | Importing ks-core status] *****************

changed: [localhost]

PLAY RECAP *********************************************************************

localhost : ok=32 changed=19 unreachable=0 failed=0 skipped=14 rescued=0 ignored=0

Start installing monitoring

Start installing multicluster

Start installing openpitrix

Start installing network

Start installing devops

**************************************************

Waiting for all tasks to be completed ...

task network status is successful (1/5)

task openpitrix status is successful (2/5)

task multicluster status is successful (3/5)

task devops status is successful (4/5)

task monitoring status is successful (5/5)

**************************************************

Collecting installation results ...

#####################################################

### Welcome to KubeSphere! ###

#####################################################

但是从KS的UI看到DevOps组件异常

排查过程如下

1.查看了异常的pod ks-jenkins-6f9df7f59b-n6xnf

结果如下:

存活探针和就绪探针均失败

2.以下是所有pod中异常的pod

这个recycler-for-pv0-nfs 是因为volume挂载失败显示的异常,可以忽略

3.查看helm安装的组件

发现没有安装UC组件,不知道是否正常

目前只能想到这些排查方法,但是不知道如何去更深入的查看问题所在,请各位大佬指导一下,提供一下思路

赞,楼主已经提了issue,有遇到类似问题的同学可以在issue里看到最新回复(提交issue可以得到更快的回复,也更容易被安排到后续的社区计划中)

kubesphere/ks-jenkins#70

1 个月 后

时隔多日,我带着导致探针超时的原因回来了,这是因为我用的NFS服务器有问题,NFS的具体问题就省略了。

过程是这样的,我在安装harbor的时候,用的也是相同的NFS,探针又失败了。查询了harbor的日志,发现postgres中多个数据库没有创建成功。我找到创建数据库的脚步,登入到postgres中,尝试手动去创建,创建数据过程异常的慢。然后就想到会不会是NFS的问题,果断询问了负责服务器的同学(中间省略一上午)确认服务器有问题之后,果断更换了NFS,重新部署了storageclass,devops和harbor,结果就是一切顺利完成。

后续我会更新到github上,虽然原因很没技术含量 😃 ,但是我觉得可以为遇到相似问题的同学提供一个解决问题的思路

    showjason 更改标题为「【已解决】离线状态安装kubesphere运行正常,后来开启devops失败,ks-jenkins容器无法ready
    5 天 后

    相同的现象,不同的是我的pv是local的,之前安装正常,节点扩容后出现的这个问题,请问有人知道原因嘛?localpv已经删过了,而且是从节点机器下手动找到/var/openebs/local/下对应目录删除的。重新部署并不好用,ks-jenkins容器里有个jvm直接退出,不报任何错误

      16 天 后
      1 个月 后

      相同问题,jvm 直接退出,存活探针测试失败,然后无限重启。我将 jvm 内存设置为 2048m 就出现这个问题,修改为1000m以下就不会存在这个问题。重装过两次kubesphere ,都是干净系统重装的。

      设置jenkinsJavaOpts_Xms jenkinsJavaOpts_Xmx为 1000m以下,我设置的是900m 问题得到解决,但是感觉jenkins不是太稳定,具体表现在nodejs 容器的时候经常性的假死。失败,然后pod 也删不掉。反正极不稳定。

      showjason 我的情况是如果默认安装,不调整jvm参数,能正常安装,探针也是正常的,如果将jvm参数调到1000M以上就会无限重启,探针超时,修改到1000M以下问题就不会出现。但是在使用的过程中发现Jenkins不太稳定。特别是nodejs容器经常性的构建挂起。POD删也删不掉。

      showjason 我的情况是如果默认安装,不调整jvm参数,能正常安装,探针也是正常的,如果将jvm参数调到1000M以上就会无限重启,探针超时,修改到1000M以下问题就不会出现。但是在使用的过程中发现Jenkins不太稳定。特别是nodejs容器经常性的构建挂起。POD删也删不掉。