内置告警策略etcdHighNumberOfFailedGRPCRequests几乎每隔几十分钟就产生一条告警,这个测试是不是有问题?
内置告警策略etcdHighNumberOfFailedGRPCRequests的问题
全是grpc_service="etcdserverpb.Watch"的告警。
好像是bug,etcd-io/etcd#10289
我想修改kubesphere-monitoring-system-prometheus-k8s-etcd-rules.yaml这个配置,增加grpc_service!=“etcdserverpb.Watch”,为什么改不了,请问需要怎么修改?
1 年 后
请问:这个问题有解决吗?我也遇到了同样的问题。
2 个月 后
查了下这是一个openshift的issues,参考下
XxulaiK零S
该问题已被 etcd-io/etcd#13127 修复,ks 3.3 版本同步了这个修复。
对于 ks 3.3 之前的版本,可以通过以下命令进行调整:
kubectl -n kubesphere-monitoring-system edit prometheusrules prometheus-k8s-etcd-rules
调整后的目标规则可以参考 这里
xulai 看了下github日志,在这次提交的时候又把这个问题还原了
kubesphere/ks-installer@f987429
XxulaiK零S
- 已编辑
sheaven ks 3.3.1 使用的是 etcd-io/etcd#13127 修复后的规则。你可以 check 一下你的环境中的这个规则表达式
XxulaiK零S
sheaven 另外 check 一下你集群使用的 etcd 版本,etcd 在低版本上的 bug 也可能导致这个告警,etcd-io/etcd#12196 进行了相关问题的修复,etcd 的更新 changelog 可以参考这里
XxulaiK零S
sheaven 已反馈你报告的 issue,欢迎参与你所感兴趣的 sig: https://kubesphere.io/zh/contribution/