日志系统希望支持clickhouse

JoeyGaojingxing

我们现在用的是clickhouse，而且elasticsearch占用资源过高，单独维护es感觉不太值当。想问问日志系统是否能配置支持clickhouse，或者是由哪个组件控制我们可以自行适配一下

wanjunlei

JoeyGaojingxing 你可以尝试用 http output 把数据发送到 clickhouse

https://github.com/fluent/fluent-operator/blob/release-0.14/api/fluentbitoperator/v1alpha2/plugins/output/http_types.go

或者通过 kafka 中转一下

目前 ks 前端是不支持 clickhouse 的，这块需要你们自行适配

DehaoCheng

日志采集链条是fluentbit采集日志输出到es，再由ks-apiserver调用es接口显示。如果你哪个地方有问题，可以到相关仓库提issue或者贡献代码。

JoeyGaojingxing

wanjunlei 我看了一下文档，然后部署之后我发现不开启日志系统，好像也没有安装fluent监控。

这块想跟大佬确认一下，是不是我们自己搭建一套日志系统即可，然后与ks完全解耦，比如我们用fluent operator+clickhouse+clickvisual，但是这样其实ks带的审计日志、事件系统都无法用了

另一个看似好点的方案其实是官方支持clickhouse，不过我看了一下源码，发现es和clickhouse的查询逻辑差别还蛮大的，而且一开始设计的时候可能官方也没打算支持其他数据引擎？不知道官方后续有没有这方面的考虑，或者github issue上我也提一个

JoeyGaojingxing

感谢二位提供的信息，帮助很大，我再去好好看看

wanjunlei

JoeyGaojingxing 审计和事件可以像日志一样导入到 clickhouse。你可以先启用 ks 的日志，审计和事件，然后另外创建 output 把这些数据发送到 clickhouse，或者 ks 的日志你不想用的话直接改output也行，es 不想要就删了

ks 的日志系统肯定会支持更多的数据引擎，clickhouse 需要调研之后才能确定

JoeyGaojingxing

wanjunlei 感谢大佬的方案，期待ks支持更多数据引擎~

yzj114477

顶一个~~~
希望官方出一个多引擎日志版本，目前 clickhouse 的日志查询功能，是一个比较合适的替换方案，es比较消耗资源，基本上接近了1比1的资源损耗，甚至有些并发服务高的，需要调配更高的资源，这对我们中小企业来说，是一个非常大的资源浪费，当然和我们自己的架构本身也有一定问题，例如没实现需要查看日志时才打开日志流量口径，可以减少非常大的日志流量消耗