添加集群部署的kubesphere组件自带监控和集群原有监控环境冲突，导致集群监控不可用

gudaoyufu

创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。
发帖前请点击发表主题右边的预览(👀) 按钮，确保帖子格式正确。

添加集群部署的kubesphere组件自带监控和集群原有监控环境冲突，导致集群监控不可用

Kubernetes版本信息
v1.20.9。多节点。

容器运行时
docker

KubeSphere版本信息
v3.1.1。在线安装。

问题是什么

昨天添加一个集群到kubesphere，在被添加的集群上部署了kubesphere，参照这里部署成功了https://v3-1.docs.kubesphere.io/zh/docs/quick-start/minimal-kubesphere-on-k8s/

然后就下班了没继弄，今天来发现导入的集群没有监控数据，到远程集群上看到kubesphere安装时默认安装了监控环境，但集群之前已经部署过了完整监控环境，现象是两套监控环境的proemtheus pod在不停的重启，随后我将kubesphere默认安装的那个监控的整个namespace删了，但问题还存在，集群原本的proemtheus仍然在一直重启，现在问题是导致集群监控不可用了，从监控上看，昨天kubesphere安装好后监控冲突就开始了，一直到今天都没有监控数据。

疑问：被添加的集群，需要安装轻量化的kubesphere，从昨天安装的过程看，安装时并没有选择安装组件的过程，proemtheus属于默认被安装的哦，那如果集群已经有了完整的监控环境了，这样是不是很容易产生问题哦，或者如果避免呢

gudaoyufu

目前将k8s中的kubesphere卸载了，集群监控正常了

finalha

关注一下
我在配置多集群的kubesphere时也发现了kubeshere自带的prometheus和已有的prometheus会冲突，暂时使用
kubectl scale statefulset,deployment -n kubesphere-monitoring-system –all –replicas=0

把kubeshere自带的监控停掉了，然后已有的prometheus才能恢复正常，感觉这个方法不是很好，希望大佬们赐教

lamesbond

我装的ks3.3.1，把cluster-configuration.yaml里的type: external取消注释，安装的话，就不会装kube-prometheus，k8s原有的kube-prometheus不受影响，不过这样的话在ks页面看到的监控数据会不正常，官方文档有教你集成自己的prometheus，但那教程里说只支持kube-prometheus0.6的，我就没搞

finalha

lamesbond 3ks

finalha

lamesbond

In kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.1/cluster-configuration.yaml

monitoring:

# type: external # Whether to specify the external prometheus stack, and need to modify the endpoint at the next line.

endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090 # Prometheus endpoint to get metrics data.

GPUMonitoring: # Enable or disable the GPU-related metrics. If you enable this switch but have no GPU resources, Kubesphere will set it to zero.

enabled: false

should use endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090
to point to your own prometheus endpoint?

kalavt

同样的情况. 接入了集群内自有的prom stack, 但很多地方都显示不正常.

我没找到详细的文档讲述该怎么集成和解决这些问题.

finalha

kalavt 请问您是如何接入自有的prometheus stack的?是在

https://github.com/kubesphere/ks-installer/releases/download/v3.3.1/cluster-configuration.yaml

中修改下面的部分

monitoring:

# type: external # Whether to specify the external prometheus stack, and need to modify the endpoint at the next line.

endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090 # Prometheus endpoint to get metrics data.

将# type: external 去掉注释，然后endpoint部分用自有的prometheus stack的endpoint替换吗？

lamesbond

我是看接口才把监控调好的。
F12看有个接口是获取监控信息的，是个Get请求，放浏览器访问一下就知道哪些监控指标缺了，找到后到ks源码里找，看你缺的那个指标是执行哪个promql语句查出来的，自己去prometheus查一下，没有就自行添加record

lamesbond

finalha 你要是还没装ks，type: external 注释取消掉再装ks，就不会给你装prometheus了，要是已经装了ks，直接把ks装的prometheus全删掉，endpoint改成你自己的prometheus地址

用自己的prometheus的话，有些指标是不全的，到ks-installer这个pod里去找prometheusRule文件，在你的prometheus里应用一下，加一些record就有指标了