关于指标标签问题

lgy

节点指标获取拉取的是node_exporter，但是标签和
对不上，我看Prometheus配置文件也没有相应的标签转换，想请教下这块是怎么做的

huanggze

你这截的是源码吧。$1 是占位符。生成 node 指标 promql 语句的函数在下面

https://github.com/kubesphere/kubesphere/blob/master/pkg/simple/client/monitoring/prometheus/promql.go#L266-L274

另外，监控模块开发指南可以参考这里
https://github.com/kubesphere/community/blob/master/sig-observability/development/kubesphere-monitoring-development-guide-v3.0.0.md

lgy

huanggze 是的，因为我现在部署的是边缘节点，网络不通，所以在边缘节点单独跑了node_exporter，定期push指标到pushgateway中，然后普罗米修斯获取pushgateway中的数据，我的意思是，我如何才能在不改动源码的情况下获取到边缘节点的指标信息。这是pushgateway的scrape_configs，基本搬用node_exporter
的配置。，

benjaminhuo

需要把配置添加到个 secret 里

kubectl -n kubesphere-monitoring-system edit secret additional-scrape-configs

需要把 prometheus-additional.yaml 这个 key 的内容base64 解码，添加上你的内容，在base64 编码
https://github.com/kubesphere/kube-prometheus/blob/ks-v3.0/manifests/additional-scrape-configs.yaml#L3

你是在边缘节点自己写了个程序抓取 node exporter 的内容再发送到 pushgateway?
用的 KubeEdge 管理边缘节点？

lgy

benjaminhuo 是的，用的kubeedge，pushgateway已经加到kubesphere中，像你说的添加到additional-scrape-configs，需要这步吗，我是直接写的ServiceMonitor文件
请问下加入additional-scrape-configs是做什么的，也是加入监控列表吗，我现在是想实现边缘节点的指标查询，目前已经push到普罗米修斯中了，但是标签对不上，也就是说我用源码中定义的标签无法查到边缘节点的node_exporter指标

lgy

benjaminhuo

lgy 抱歉，你这种加 servicemonitor 的方法应该也可以，看截图已经能检测到 endpoint 了。截图显示你的 job 名字是 pushgateway，可以打开 Prometheus 的 web UI, 用 job=“pushgateway” 标签查一个node 的指标看看能查到吗，比如 node_cpu_seconds_total{job="pushgateway"}

benjaminhuo

你不需要写 servicemonitor，加到这additional-scrape-configs 里面就行了，注意原来的内容要保留，加到原来的内容后面

lgy

benjaminhuo 有微信吗，请教下，新手不太懂，像你说的我和定义servicemonitor不是一样效果吗，但问题是node_exporter获取的指标名跟kubesphere调用的对不上

lgy

benjaminhuo 比如我解码出来是这种
- job_name: ‘istio-mesh’
scrape_interval: 15s
kubernetes_sd_configs:
- role: endpoints
namespaces:
names:
- istio-system
relabel_configs:
- source_labels: [__meta_kubernetes_service_name, meta_kubernetes_endpoint_port_name]
action: keep
regex: istio-telemetry;prometheus
- job_name: ‘istio-envoy’
scrape_interval: 15s
kubernetes_sd_configs:
- role: endpoints
namespaces:
names:
- istio-system
relabel_configs:
- source_labels: [meta_kubernetes_service_name, meta_kubernetes_endpoint_port_name]
action: keep
regex: istio-statsd-prom-bridge;statsd-prom
- job_name: ‘istio-policy’
scrape_interval: 15s
kubernetes_sd_configs:
- role: endpoints
namespaces:
names:
- istio-system
relabel_configs:
- source_labels: [meta_kubernetes_service_name, meta_kubernetes_endpoint_port_name]
action: keep
regex: istio-policy;http-monitoring
- job_name: ‘istio-telemetry’
scrape_interval: 15s
kubernetes_sd_configs:
- role: endpoints
namespaces:
names:
- istio-system
relabel_configs:
- source_labels: [meta_kubernetes_service_name, meta_kubernetes_endpoint_port_name]
action: keep
regex: istio-telemetry;http-monitoring
- job_name: ‘istio-pilot’
scrape_interval: 15s
kubernetes_sd_configs:
- role: endpoints
namespaces:
names:
- istio-system
relabel_configs:
- source_labels: [meta_kubernetes_service_name, meta_kubernetes_endpoint_port_name]
action: keep
regex: istio-pilot;http-monitoring
- job_name: ‘istio-galley’
scrape_interval: 15s
kubernetes_sd_configs:
- role: endpoints
namespaces:
names:
- istio-system
relabel_configs:
- source_labels: [meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
action: keep
regex: istio-galley;http-monitoring
即使我加入pushgateway的job，查询指标时也不能使用kubesphere定义好的指标名查询edge的节点指标

benjaminhuo

另外你想调用的 kubesphere 的指标名是哪个？

lgy

benjaminhuo 新添加的指标能查到，我是想着在不改动代码的情况下复用kubesphere的查询语句，比如复用这些
这种就需要标签替换

benjaminhuo

node:node_cpu_utilisation:avg1m 这个指标在 Prometheus web UI 查出来边缘节点的数据是怎样的，哪个标签需要替换

benjaminhuo

makeNodeMetricExpr 可以在这个函数里改做标签替换

lgy

benjaminhuo 边缘云使用的是node_exporter自带的名称加标签内容，所以即使配置相同的relabel_configs也没有做处理，如果要查询只能使用原始的名称而不是node:node_cpu_utilisation:avg1m 这种，你贴出的代码只是占位符替代，相当于标签内容定义，但是指标名没做改变