负责监控的POD "promotheus-k8s-1"中的容器“prometheus”报错导致启动失败

nickzlm

创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。如果未按模板创建问题，管理员有权关闭问题。
确保帖子格式清晰易读，用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。

操作系统信息
unubtu18.04 2C/4G

Kubernetes版本信息
Client Version: version.Info{Major:“1”, Minor:“20”, GitVersion:“v1.20.6”, GitCommit:“8a62859e515889f07e3e3be6a1080413f17cf2c3”, GitTreeState:“clean”, BuildDate:“2021-04-15T03:28:42Z”, GoVersion:“go1.15.10”, Compiler:“gc”, Platform:“linux/amd64”}

容器运行时
将 docker version / crictl version / nerdctl version 结果贴在下方

KubeSphere版本信息

v3.1.1

问题是什么

使用的是kubesphere集成的prometheus监控。

负责监控的statefulset “prometheus-k8s”有两个pod：prometheus-k8s-0 和prometheus-k8s-1

其中prometheus-k8s-0一直运行正常。但是prometheus-k8s-1则一直处于“
CrashLoopBackOff”状态。请见截图：

检查发现是prometheus-k8s-1的容器“prometheus”启动失败导致，截图如下：

容器的日志截图如下：

通过删除pod "prometheus-k8s-1″让其重建，无法解决问题。

请问导致这个问题的原因是什么？如何分析解决？

谢谢！

nickzlm

kubesphere集群创建后监控也启用了，监控的配置没有更改过，一直没怎么关注。近期才发现这个问题。

不知道为什么prometheus-k8s-1的的容器prometheus会报msg=“Failed to open query log file” err=“open /prometheus/queries.active: input/output error”这样的错误。

kevendeng

nickzlm

看日志中的错误，Prometheus无法读取相关文件，导致启动失败。

打开文件的报错为 I/O Error，很有可能是你所使用的存储系统出问题了，找到该prometheus pod所使用的PVC对应的硬盘（若为NFS等远程文件系统，则检查对应服务器、对应存储的运行状态），检查下它的状态是否正常。

nickzlm

kevendeng

后台存储使用的glusterfs。

基于报错，我直接在glusterfs上查看了指定的目录及文件，可以查看。截图如下：

而且还有一些其他应用也在使用glusterfs进行数据存储，都运行正常，所以我认为glusterfs文件系统的状态应该没什么问题。

但是我怀疑是prometheus-k8s-1使用的这个pv里的文件内容有问题，有什么办法可以将这个PV重建吗？或者说吧PV中存储的内容清空，应用可以重建数据吗？

谢谢！

kevendeng

nickzlm

K8s中，Pod所使用的PV，就是经过bind mount后的对应存储系统的一个文件目录

你可以进入/var/lib/kubelet/pods/{uid}/volumes/在其中的子路径下查找，再验证文件是否可读写

其中{uid}可通过kubectl get pod xxx -o jsonpath '{.metadata.uid}'获取

prometheus的两个pod互为冗余备份，若想重建PV，可将异常的PVC删除，再将对应的pod删除，再重建PVC即可。

在删除PVC前可使用kubectl get pvc -o yaml保存数据，但在重建前注意要将其中Status相关数据、annotation中bind相关注解、spec中与PV绑定的相关数据删除，以免造成混乱。

nickzlm

kevendeng

基于你提供的方法查看对比了一下，确认是文件有问题：

在有问题prometheus-k8s-1的存储目录下，可以看到此文件不可访问：

# file queries.active

queries.active: writable, regular file, no read permission

而运行正常的prometheus-k8s-0的存储目录下，可以正常显示文件属性：

b# file queries.active

queries.active: data

我尝试一下重建pv。

nickzlm

kevendeng

问题已解决。没有重建PV。方法如下：

在prometheus-k8s-1的存储目录下，将不可访问的queries.active删除，然后删除pod “prometheus-k8s-1”,pod重建成功，并生成了新的queries.active. pod运行状态正常。

非常感谢你的支持。

nickzlm

kevendeng

关于配置外置ES，还有个问题：

外置ES为集群模式，有3个节点，那我在ks-installer的yaml里配置ES的时候想3个节点都写上（冗余考虑）如下配置对吗：

es:  # Storage backend for logging, tracing, events and auditing.

  elasticsearchMasterReplicas: 3

  elasticsearchDataReplicas: 3

  elasticsearchMasterVolumeSize: 4Gi  

  elasticsearchDataVolumeSize: 20Gi  

  logMaxAge: 7 

  elkPrefix: logstash  

  externalElasticsearchUrl: '192.168.1.1,192.168.1.2,192.168.1.3'

  externalElasticsearchPort: '9200'

之前配置ks-installer里的es的时候尝试用以上配置，配置完成后打开日志搜索会hang住，且查看ES集群并没有日志写入，所以怀疑是我的配置写的有问题。
在kubesphere的官方文档还有github上都没有找到关于ks-installer的yaml文件里的各个参数该如何写的指导。
请帮忙看看是不是我的配置写的不对？

谢谢！

DehaoCheng

nickzlm 开启外置es 可参考这个https://kubesphere.io/zh/docs/faq/observability/logging/#%E5%A6%82%E4%BD%95%E5%B0%86%E6%97%A5%E5%BF%97%E5%AD%98%E5%82%A8%E6%94%B9%E4%B8%BA%E5%A4%96%E9%83%A8-elasticsearch-%E5%B9%B6%E5%85%B3%E9%97%AD%E5%86%85%E9%83%A8-elasticsearch

kevendeng

DehaoCheng

nickzlm

fluent/fluent-bit#1847
fluent/fluent-bit#1340

看起来fluent bit目前并不支持多host配置es

kevendeng

DehaoCheng
此文档里似乎并没有回答这个问题

DehaoCheng

kevendeng 这里是不建议一个url写多个的，可以看看这个https://docs.fluentbit.io/manual/pipeline/outputs/elasticsearch

nickzlm

kevendeng 收到，多谢。