问题描述
磁盘满后,es各种报错:
- kibana用不了了
- 分布式链路追踪出错了
后面,经排查是es磁盘满了引起的
解决方案有两种:
- 使用kibana删除es前几天的数据,这里简单粗暴,删除了所有数据:
DELETE /ks-*
- 扩容,由于使用的磁盘不支持动态扩容,所以使用了简单粗暴的解决方式,步骤如下:
2.0 关闭日志收集器
2.1 删除名为data-elasticsearch-logging-data-*
的pvc
2.2 删除名为elasticsearch-logging-data-*
的pod
2.3 重建名为data-elasticsearch-logging-data-*
的pvc,这次将容量改成了40G
2.4 crd中搜索ClusterConfiguration
找到ks-installer
编辑配置文件,什么也不用改,直接点“更新”
简单粗暴,达到扩容的目的,只是之前数据不见了,开发环境无所谓了。
另外,如果使用的pvc支持动态扩容,存储卷克隆、支持创建快照的话能够保留之前数据。
如果报错type: search_phase_execution_exception, reason: all shards failed,kibana执行:
DELETE /ks-*