节点CPU用量刷新每次都有部分节点为0%

happywzy

kubesphere 版本 v3.2.1

集群： 3 master 2 worker 节点

现象：进入到 default 集群，选择节点 -> 集群节点，点击刷新按钮刷新CPU用量，每次都有部分节点 CPU 用量显示为 0（实际不为 0），每次都是不同的节点，截图如下：

这个问题是什么原因呢？内存用量一直都有，只有 CPU 显示异常，应该怎么排查？

frezes

ks 的监控来自于Prometheus，我们可以先排查下Prometheus 上的监控数据是否正常。通过 prometheus query 页面查询CPU 的使用率 node:node_cpu_utilisation:avg1m ，来检查原始 CPU使用率是否连续正常，连续。

在原始监控数据正常的情况下，我们可以推断 query 查询数据是正常的，问题可能出现在query 的time 上。不妨使用date命令检查下 prometheus 容器与ks-console 的时间，可能会是两者时间差刚好在 5min 左右，导致在某次查询时有的指标项有数据，有的指标项没有数据。

如果原始监控数据不正常点的话，我们就需要检查下record-ruler计算的数据是有遗失，是否是node-exporter 数据是否没有上报，往数据源处检查。

happywzy

frezes CPU原始数据不连续，但是内存数据是连续的 ,node-exporter无任何报错。rayzhou2017

rayzhou2017

我也遇到了，我的是节点之间（pod之间）网络有问题。

happywzy

直接查询node_cpu_used_seconds_total是连续

但是查询irate(node_cpu_used_seconds_total{job=“node-exporter”}[5m])不连续

happywzy

用node_cpu_used_seconds_total{job=“node-exporter”}[5m]查询原始数据发现有很多相邻的数据是完全一样的，导致用irate去计算结果为0，这是什么原因呢？

happywzy

数据好像是错开了，有些节点是这个时刻跟上个时刻数据一样，有些节点是这个时刻跟下个时刻数据一样，感觉应该是Prometheus集群同步有问题

frezes

happywzy

仔细观察数据，其实可以看出来，同一分钟查到了2次数据，而我们默认配置的采样周期时1分钟1次，也就是说数据出现了重复且没有进行去重。

而irate 计算是选取时间范围内最后两个点，所以拿 irate 计算未去重的数据就导致我们看到的计算结果为0。

至于数据为什么出现重复，得看你环境及Prometheus 高可用的配置了，欢迎留帖继续讨论。

happywzy

frezes

  monitoring:
    gpu:
      nvidia_dcgm_exporter:
        enabled: false
    prometheus:
      replicas: 3
      volumeSize: 100Gi
    storageClass: ''

这边只是将Prometheus副本数设置为3，并无其它操作

frezes

happywzy

也许你可以再贴下node-exporter 的targets，是否服务发现时重复，导致采集了多次；或者检查下卷的挂载，是否prometheus 副本挂到了同一个卷上。

上边你提到的 “Prometheus集群同步有问题“，KS 监控部分Promethus 只是多副本数据冗余，以达到高可用的目的，没有其他同步机制。如果你使用了额外 Prometheus 集群/高可用的机制，请检查下额外的Prometheus 集群/高可用的问题。

happywzy

目前来看只有查询node_cpu_used_seconds_total指标出现了重复。

frezes

happywzy

如果真的是只有 node_cpu_used_seconds_total 出现了重复的话，不妨手动 curl node-exporter:9100/metrics, 来检查下最原始的metrics 是否重复，然后向上游社区找找有没有关联的issue，来解释下node-exporter 为什么会出现这种情况；

修复的话，有两种方式，一种是查找根因，若确定node-exporter 问题，就尝试通过重启或其他形式解决；另一种则是针对 irate 的，因为最后两个点重复，那我们就调整表达式为 rate(node_cpu_used_seconds_total{job=“node-exporter”}[5m]) ,由瞬时变化率调整为平均变化率，更灵敏的话，缩小间隔 rate(node_cpu_used_seconds_total{job=“node-exporter”}[1m]).

happywzy

frezes 已经找到原因。node_cpu_used_seconds_total这个指标不是node-exporter传入的，是

expr: >
            sum (node_cpu_seconds_total{job="node-exporter",
            mode=~"user|nice|system|iowait|irq|softirq"}) by (cpu, instance,
            job, namespace, pod)
          record: node_cpu_used_seconds_total

是通过上面的表达式计算的，我在PrometheusRule里找到了重复的，所以导致了问题，删掉重复的就可以了。感谢支持。