fluent-bit 不能正确连接到协议是https的外部ES

kelvinsong

创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。如果未按模板创建问题，管理员有权关闭问题。
确保帖子格式清晰易读，用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。

操作系统信息
AWS EKS 1.21

Kubernetes版本信息
v1.19.15-eks-9c63c4

Server Version: version.Info{Major:“1”, Minor:“19+”, GitVersion:“v1.19.15-eks-9c63c4”, GitCommit:“9c63c4037a56f9cad887ee76d55142abd4155179”, GitTreeState:“clean”, BuildDate:“2021-10-20T00:21:03Z”, GoVersion:“go1.15.15”, Compiler:“gc”, Platform:“linux/amd64”}

容器运行时
docker

KubeSphere版本信息
v3.2.1

问题是什么
我的外部ES是AWS ES 7.10，配置https，可以通过各种客户端正常访问https://<ES host>。但是，fluent-bit 不能正确连接到这个协议是https的ES，fluent-bit报错信息是： 400 The plain HTTP request was sent to HTTPS port，如下图：

初步判断这个问题是与这个文件里缺少http 或https协议判断逻辑有关， https://github.com/kubesphere/ks-installer/blob/master/roles/ks-logging/templates/custom-output-elasticsearch-logging.yaml.j2#L12。有哪位能帮忙分析一下是不是这里的问题？还是我缺少了某些配置项？

但是ClusterConfiguration 模板里有http协议判断逻辑https://github.com/kubesphere/ks-installer/blob/master/roles/ks-core/config/templates/kubesphere-config.yaml.j2#L164。

下面是我的ClusterConfiguration中有关外部ES的配置。

wanjunlei

kubectl get output -n kubesphere-logging-system es -oyaml

看下es的地址配置的是什么，如果不是https，手动修改下

kelvinsong

多谢。

Output: kubectl get output -n kubesphere-logging-system es -o yaml 结果如下图, host不包含https：

把上面的Output中的host，从host: <ES host>修改成host: https://<ES host>后，fluent-bit报下面的错误：

显然fluent-bit把https作为主机的一部分，导致不能解析。现在的问题是：

host是host: <ES host>时，fluent-bit报告错误：400 The plain HTTP request was sent to HTTPS port；

host是host: https://<ES host>时，fluent-bit报告错误：getaddrinfo(host=‘https://<ES host>’, err=4): Domain name not found；

是不是需要额外的配置项支持？还是这里有bug？

wanjunlei

https://github.com/kubesphere/ks-installer/blob/master/roles/ks-logging/templates/custom-output-elasticsearch-logging.yaml.j2#L35

把tls的配置加上

正常来讲你修改了cc的配置后，这些配置都会自动修改的

kelvinsong

我的cc如下图，已经包含了externalElasticsearchProtocol: https, 但是在Output里，tls,httpUser, httpPassword并没有自动加上，问题可能就出现在这里。