kubesphere 平台无法正常收集日志，fluent-bit日志报错无法增加缓冲区

bixiaoyu

一、环境信息

基于kubernets平台最小化安装的kubesphere 3.3.1版本平台。

二、问题描述

kubesphere 投入生产使用将近半年之久，也出现过很多问题。这次问题是日志平台无法正常收集日志信息。

[2023/12/03 07:21:33] [ warn] [http_client] cannot increase buffer: current=32000 requested=64768 max=32000。无法增加缓冲区:当前=32000请求=64768最大=32000

三、个人尝试解决

对外寻求帮助，貌似需要在kubesphere CDR output中加入”Buffer_Size 0“ 解除缓冲区限制

上面提到了对于这个问题需要去引用这个参数去增加缓冲区大小。现在面临一个问题就是，这个参数加在output里面没有生效，点击保存之后里面没有加上。

如上图所示，也就是没有加进去.这就很奇怪，哪位大佬能告诉我如何让参数正确的写入生效呢？

qczrzl

bixiaoyu 参考这个试试https://github.com/fluent/fluent-operator/blob/master/docs/plugins/fluentbit/output/elasticsearch.md

bixiaoyu

qczrzl 这个文章也参考了，上面仅仅是提到了该参数的用途，并未记录要将bufferSize 参数配置在kubesphere 具体的位置。另外我尝试将这个参数配置在fluent-bit.conf配置文件中也无济于事，写进去之后在保存依旧被还原未修改之前的状态

该图片是configmap 配置，直接从这配置文件里面修改保存退出，仍然没有正常写入进去。

wanjunlei

spec:
  es:
    bufferSize: 0

bixiaoyu

wanjunlei

报错了，

bixiaoyu

bixiaoyu Invalid

Output.logging.kubesphere.io “es” is invalid: spec.es.bufferSize: Invalid value: “integer”: spec.es.bufferSize in body must be of type string: "integer"直接提示“无效:spec.es.bufferSize:无效值:” integer “:正文中的spec.es.bufferSize必须是字符串类型:” integer "

wanjunlei

bufferSize: 10mb

bixiaoyu

wanjunlei 这次保存成功了，大佬，我需要重启fliemt-bit 服务吗？

bixiaoyu

wanjunlei 大佬，昨天在 ks CDR 资源中output调整了“bufferSize“大小，重启fluent-bit 服务，发现日志输出重出现了新的错误”[2023/12/04 23:18:29] [ warn] [engine] failed to flush chunk ‘12-1701731845.299922385.flb’, retry in 11 seconds: task_id=3, input=tail.2 > output=es.0 (out_id=0)

[2023/12/04 23:18:30] [ warn] [engine] chunk ‘12-1701731837.272999526.flb’ cannot be retried: task_id=1, input=tail.2 > output=es.0

[2023/12/04 23:18:34] [ warn] [engine] chunk ‘12-1701731840.300530381.flb’ cannot be retried: task_id=2, input=tail.2 > output=es.0“

翻阅各种资料，在官方社区发现也有小伙伴报这个错误，但区别是导致该问题出现的情况不一样，我检查在CRD->Output->的自定义资源中generateID: true字段是存在的，

请前辈指教，到底是哪里出现了问题