我们现在用的是clickhouse,而且elasticsearch占用资源过高,单独维护es感觉不太值当。想问问日志系统是否能配置支持clickhouse,或者是由哪个组件控制我们可以自行适配一下
日志系统希望支持clickhouse
DehaoChengK零S
日志采集链条是fluentbit采集日志输出到es,再由ks-apiserver调用es接口显示。如果你哪个地方有问题,可以到相关仓库提issue或者贡献代码。
WwanjunleiK零S
JoeyGaojingxing 你可以尝试用 http output 把数据发送到 clickhouse
或者通过 kafka 中转一下
目前 ks 前端是不支持 clickhouse 的,这块需要你们自行适配
感谢二位提供的信息,帮助很大,我再去好好看看
wanjunlei 我看了一下文档,然后部署之后我发现不开启日志系统,好像也没有安装fluent监控。
这块想跟大佬确认一下,是不是我们自己搭建一套日志系统即可,然后与ks完全解耦,比如我们用fluent operator+clickhouse+clickvisual,但是这样其实ks带的审计日志、事件系统都无法用了
另一个看似好点的方案其实是官方支持clickhouse,不过我看了一下源码,发现es和clickhouse的查询逻辑差别还蛮大的,而且一开始设计的时候可能官方也没打算支持其他数据引擎?不知道官方后续有没有这方面的考虑,或者github issue上我也提一个
WwanjunleiK零S
JoeyGaojingxing 审计和事件可以像日志一样导入到 clickhouse。你可以先启用 ks 的日志,审计和事件,然后另外创建 output 把这些数据发送到 clickhouse,或者 ks 的日志你不想用的话直接改output也行,es 不想要就删了
ks 的日志系统肯定会支持更多的数据引擎,clickhouse 需要调研之后才能确定
wanjunlei 感谢大佬的方案,期待ks支持更多数据引擎~
顶一个~~~
希望官方出一个多引擎日志版本,目前 clickhouse 的日志查询功能,是一个比较合适的替换方案,es比较消耗资源,基本上接近了1比1的资源损耗,甚至有些并发服务高的,需要调配更高的资源,这对我们中小企业来说,是一个非常大的资源浪费,当然和我们自己的架构本身也有一定问题,例如没实现需要查看日志时才打开日志流量口径,可以减少非常大的日志流量消耗