我们现在用的是clickhouse,而且elasticsearch占用资源过高,单独维护es感觉不太值当。想问问日志系统是否能配置支持clickhouse,或者是由哪个组件控制我们可以自行适配一下

    日志采集链条是fluentbit采集日志输出到es,再由ks-apiserver调用es接口显示。如果你哪个地方有问题,可以到相关仓库提issue或者贡献代码。

    wanjunlei 我看了一下文档,然后部署之后我发现不开启日志系统,好像也没有安装fluent监控。

    这块想跟大佬确认一下,是不是我们自己搭建一套日志系统即可,然后与ks完全解耦,比如我们用fluent operator+clickhouse+clickvisual,但是这样其实ks带的审计日志、事件系统都无法用了

    另一个看似好点的方案其实是官方支持clickhouse,不过我看了一下源码,发现es和clickhouse的查询逻辑差别还蛮大的,而且一开始设计的时候可能官方也没打算支持其他数据引擎?不知道官方后续有没有这方面的考虑,或者github issue上我也提一个

      JoeyGaojingxing 审计和事件可以像日志一样导入到 clickhouse。你可以先启用 ks 的日志,审计和事件,然后另外创建 output 把这些数据发送到 clickhouse,或者 ks 的日志你不想用的话直接改output也行,es 不想要就删了

      ks 的日志系统肯定会支持更多的数据引擎,clickhouse 需要调研之后才能确定

        12 天 后

        顶一个~~~
        希望官方出一个多引擎日志版本,目前 clickhouse 的日志查询功能,是一个比较合适的替换方案,es比较消耗资源,基本上接近了1比1的资源损耗,甚至有些并发服务高的,需要调配更高的资源,这对我们中小企业来说,是一个非常大的资源浪费,当然和我们自己的架构本身也有一定问题,例如没实现需要查看日志时才打开日志流量口径,可以减少非常大的日志流量消耗