内置告警策略etcdHighNumberOfFailedGRPCRequests几乎每隔几十分钟就产生一条告警,这个测试是不是有问题?

全是grpc_service="etcdserverpb.Watch"的告警。

好像是bug,etcd-io/etcd#10289
我想修改kubesphere-monitoring-system-prometheus-k8s-etcd-rules.yaml这个配置,增加grpc_service!=“etcdserverpb.Watch”,为什么改不了,请问需要怎么修改?

1 年 后

请问:这个问题有解决吗?我也遇到了同样的问题。

2 个月 后

该问题已被 etcd-io/etcd#13127 修复,ks 3.3 版本同步了这个修复。

对于 ks 3.3 之前的版本,可以通过以下命令进行调整:

kubectl -n kubesphere-monitoring-system edit prometheusrules prometheus-k8s-etcd-rules

调整后的目标规则可以参考 这里

    xulai 我用kk安装的最新的3.3.1也有这个问题,是否kk部署的没有修复?

      sheaven 另外 check 一下你集群使用的 etcd 版本,etcd 在低版本上的 bug 也可能导致这个告警,etcd-io/etcd#12196 进行了相关问题的修复,etcd 的更新 changelog 可以参考这里

        xulai 确认是kk 部署的集群etcd 版本过低 3.4.13
        升级到 3.4.16 以上可以解决,建议和 kubekey 的开发也同步下信息

          1 年 后