在kubesphere上面怎么自己加上prometheus监控项

1735802356

这边我想在容器内监控java得jmx，但是改不了prometheus得配置文件，改完好像kubesphere自动回复了配置

benjaminhuo

你具体加的什么可以贴一下吗？加到哪里去了？
3.0 增加了自定义监控 feature，参考
https://kubesphere.io/docs/project-user-guide/custom-application-monitoring/introduction/

1735802356

benjaminhuo 就是我在java服务里面加了 JMX Exporter 这个prometheus得exporter，现在能去到值，我想用grafana占时出图片数据，需要配置prometheus得配置文件，但是我在改配置得时候好像一直没法生效，我先用的还是kubesphere2.1

huanggze

1735802356
第一个问题：

这边我想在容器内监控java得jmx，但是改不了prometheus得配置文件，改完好像kubesphere自动回复了配置

你需要改 Prometheus 哪块配置？

第二个问题：

有没有办法把kubesphere自带得prometheus接口代理出来啊，该配置城nodeport也不行，没办法生效

在 KubeSphere 里 Prometheus 是 Headless Service，无法直接改为 NodePort。需要外网访问的话，先把这个 headless svc删掉（记得先备份一下。），再在原来的 yaml 基础改为 NodePort，重新创建下

1735802356

有没有办法把kubesphere自带得prometheus接口代理出来啊，该配置城nodeport也不行，没办法生效

willqy

🤣 改完自动恢复了，那是因为prometheus是由自己的operator控制的，状态会一直处以期望状态，你改不掉的。

想改kubesphere的东西恐怕是没那么容易，prometheus的东西都在ks-install pod里面这个位置

/kubesphere/installer/roles/ks-monitor/

里面有files，各种yaml，尤其tempalte里面的prometheus-prometheus.yaml.j2 ，它是控制prometheus的，你要改这个东西

然后你还要知道怎么重新部署prometheus ，熟悉ansible

benjaminhuo

需要创建 servicemonitor，不能直接修改 Prometheus 的configmap，@huanggze 会告诉你怎么做

1735802356

huanggze 你好，第一个问题是该prometheus.yml文件

1735802356

huanggze 还有您说的那个Headless Service是kubesphere自身启动得那个容器啊，因为我看有好几个

huanggze

1735802356

你需要为你的监控目标创建 ServiceMonitor , ServiceMonitor 创建好后 prometheus operator 会自动读取 ServiceMonitor 信息去更新 prometheus.yml 文件

具体 ServoceMonitor CRD 里的各个字段含义，可以参考 prometheus operator API docs:
https://github.com/prometheus-operator/prometheus-operator/blob/master/Documentation/api.md#servicemonitorspec

1735802356

1735802356 还是说全部prometheus得组件都得自己删掉重新创建嘛

benjaminhuo

@huanggze 应该是自己装了 JMX Exporter, 想接入我们的 Prometheus。应该需要创建 servicemonitor

1735802356

benjaminhuo 是这样得，但是自带得prometheus也无法外网访问，我现在也不知道规则赔进去没有

1735802356

huanggze 就是我现在刚刚也尝试配置了ServoceMonitor CRD ，也启动成功了容器，那怎么看prometheus是不是拿到数据了呢

huanggze

1735802356

打开外网访问的方法是对这个 svc 进行备份、删除、修改为NodePort、重新创建：
kubectl get svc -n kubesphere-monitoring-system prometheus-k8s

另外，除了创建 ServiceMonitor（放到 kubesphere-monitoring-system下），请将你的servicemonitor加入到如下列表中：
kubectl get prometheuses -n kubesphere-monitoring-system k8s -oyaml

huanggze

1735802356

按前面的方式在 v2.1.1 的版本操作成功了的话，可以写一篇guide分享到论坛

同时，也建议升级到 KubeSphere 3.0.0 ，提供自定义监控功能

https://kubesphere.io/docs/project-user-guide/custom-application-monitoring/introduction/

1735802356

huanggze 好的谢谢我试试

LuLiMingAmos

huanggze 已有监控系统在名为monitoring的namespace下，并且部署了很多东西，比如grafana和自定义的监控指标，安装member集群后，如何对接monitoring中的集群资源，可以不使用kubesphere-monitoring-system这个namespaces
namespace吗

1735802356

huanggze 好的好的

1735802356

huanggze ! 这是我jmx-export暴露得端口

我配了servicemoniter但是好像promethues发现不了

LuLiMingAmos

huanggze k8s集群已经有了monitoring namespace,不想用sphere自带的kubesphere-monitoring-system namespace，怎么在控制面板里头显示成员集群的资源监控数据

benjaminhuo

1735802356 namespaceSelector 那里要写你自己的namespace: sh-smy

yuswift

你的namespace selector里面要对应你自己的svc ns

1735802356

yuswift
现在是可以发现这个了，但是好像没有监控得pod信息