Prometheus 反复重启 read records: corruption in segment 17

huanggze

在使用 KubeSphere 2.1.1 版本中出现 prometheus POD 反复重启，查看日志有如下信息：

分析：WAL 数据里 corrupt 了，需要手动删除。你可以登陆 pv 所在目录手动删除 /prometheus-db/wal 目录。WAL 存放的是正在写入，且还未压缩的监控数据。该故障可能是 prometheus 老版本的 bug，也可能是硬件某些故障导致的。3.0 KubeSphere 会升级监控各组件到最新版本。