创建部署问题时,请参考下面模板,你提供的信息越多,越容易及时获得解答。如果未按模板创建问题,管理员有权关闭问题。
确保帖子格式清晰易读,用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题,不能指望别人花上半个小时给你解答。
操作系统信息
例如:虚拟机/物理机,Centos7.5/Ubuntu18.04,4C/8G
Kubernetes版本信息
将 kubectl version
命令执行结果贴在下方
容器运行时
将 docker version
/ crictl version
/ nerdctl version
结果贴在下方
KubeSphere版本信息
例如:v2.1.1/v3.0.0。离线安装还是在线安装。在已有K8s上安装还是使用kk安装。
问题是什么
报错日志是什么,最好有截图。
1、观察Prometheus的pod,是否出现Error on ingesting samples that are too old or are too far into the future异常信息,如果有则是因为Prometheus异常宕机恢复后尝试写入新数据,它发现因为宕机前最后的数据时间与当前的时间间隔了太久它在阻止写入新数据,然后面板读取数据失败出现NaN%现象
level=warn ts=2023-12-14T02:58:18.420Z caller=scrape.go:1402 component=“scrape manager” scrape_pool=kubesphere-monitoring-system/etcd/0 target=https://172.31.0.31:2379/metrics msg=“Error on ingesting samples that are too old or are too far into the future” num_dropped=1246



2、在不删除旧数据的前提你可以针对性的对上述异常现象进行修复,也可以进去pod里边删除清空/prometheus的数据,也可以–storage.tsdb.path=/prometheus-new给一个新的数据目录,让它重新生成初始化这样就不会报错了,等个几分钟面板即可恢复



等几分钟后恢复正常
