日志界面不显示日志
fluent-bit组件日志:
curl http://10.100.62.37:9200/_cat/shards:结果为
{“error”:{“root_cause”:[{“type”:“cluster_block_exception”,“reason”:“blocked by: [SERVICE_UNAVAILABLE/1/state not recovered / initialized];”}],“type”:“cluster_block_exception”,“reason”:“blocked by: [SERVICE_UNAVAILABLE/1/state not recovered / initialized];”},“status”:503}
curl http://10.100.62.37:9200/_cluster/health?pretty=true结果为
{
“cluster_name” : “elasticsearch”,
“status” : “red”,
“timed_out” : false,
“number_of_nodes” : 1,
“number_of_data_nodes” : 1,
“active_primary_shards” : 0,
“active_shards” : 0,
“relocating_shards” : 0,
“initializing_shards” : 0,
“unassigned_shards” : 0,
“delayed_unassigned_shards” : 0,
“number_of_pending_tasks” : 0,
“number_of_in_flight_fetch” : 0,
“task_max_waiting_in_queue_millis” : 0,
“active_shards_percent_as_number” : “NaN”
}
请问该从那方便开始排查呢

你的fluent bit版本是多少?这个fluent bit没有读到配置文件,检查下kubesphere-logging-systen下的secret fluent-bit-config看看配置对不对。
还有你的es集群的状态也不对,网上有解决的办法,你找一下

  • qgr 回复了此帖

    wanjunlei fluent-bit版本是v1.4.6
    fluent-bit-config的配置是这样的,这个secret和读配置有啥关系呢?大佬

    这个secret就是fluent bit的配置文件,你把上面的数据用base64解码看一下

    • qgr 回复了此帖

      wanjunlei 解码后是这样的
      [Service]
      Parsers_File parsers.conf
      [Input]
      Name tail
      Path /var/log/containers/.log
      Exclude_Path /var/log/containers/
      kubesphere-logging-system_events-exporter.log,/var/log/containers/kube-auditing-webhookkubesphere-logging-system_kube-auditing-webhook.log
      Refresh_Interval 10
      Skip_Long_Lines true
      DB /fluent-bit/tail/pos.db
      DB.Sync Normal
      Mem_Buf_Limit 5MB
      Parser docker
      Tag kube.

      [Filter]
      Name kubernetes
      Match kube.*
      Kube_URL https://kubernetes.default.svc:443
      Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
      Labels false
      Annotations false
      [Filter]
      Name nest
      Match kube.*
      Operation lift
      Nested_under kubernetes
      Add_prefix kubernetes_
      [Filter]
      Name modify
      Match kube.*
      Remove stream
      Remove kubernetes_pod_id
      Remove kubernetes_host
      Remove kubernetes_container_hash
      [Filter]
      Name nest
      Match kube.*
      Operation nest
      Wildcard kubernetes*
      Nest_under kubernetes
      Remove_prefix kubernetes

      [Output]
      Name es
      Match kube.*
      Host elasticsearch-logging-data.kubesphere-logging-system.svc
      Port 9200
      Logstash_Format true
      Logstash_Prefix ks-logstash-log
      Time_Key @timestamp

      kubectl get fluentbits.logging.kubesphere.io -n kubesphere-logging-system -oyaml
      看下fluentbit的镜像版本

      • qgr 回复了此帖

        wanjunlei
        啥也没有。
        这个镜像是我自己编的,基于你们v1.4.6分支编的,因为我是在国产龙芯平台上安装kubesphere

          qgr 你这个镜像编译的有问题,你试试kubespheredev/fluent-bit:v1.6.9,这个支持arm64

          • qgr 回复了此帖

            wanjunlei 好的,那我先用这个分支编下,多谢啦,有问题再请教您

            wanjunlei https://kubesphere.com.cn/forum/d/3500-v300/2 另外这个问题帮忙看下呗,这个问题很奇怪,我用你们master分支编的ks-installer镜像安装就可以看的监控数据,用v3.0.0分支编的ks-installer镜像安装就没有监控数据。我检查了clusterrole之类的,也没有权限丢失,所以不知道是不是还有啥配置的问题。

            wanjunlei kubespheredev/fluent-bit:v1.6.9这个是基于哪个分支编的呢,我看你们的fluent-bit仓库没有1.6.9分支,我这个平台是mips的,arm的用不了,只能自己编

              wanjunlei 我的平台不是arm的,是其他架构,难受 。。。

              qgr 那你不能用1.6.9,你自己编译1.4.6吧,用这个Dockerfile

              `FROM golang:1.13.6-alpine3.11 as buildergo
              RUN mkdir -p /fluent-bit
              COPY main.go go.mod /fluent-bit/
              WORKDIR /fluent-bit
              RUN CGO_ENABLED=0 go build -o fluent-bit main.go

              FROM debian:buster-slim as builderc

              ENV FLB_MAJOR 1
              ENV FLB_MINOR 4
              ENV FLB_PATCH 6
              ENV FLB_VERSION 1.4.6

              ENV DEBIAN_FRONTEND noninteractive

              RUN apt-get update && \
              apt-get install -y –no-install-recommends \
              build-essential \
              curl \
              ca-certificates \
              cmake \
              make \
              tar \
              libssl-dev \
              libsasl2-dev \
              pkg-config \
              libsystemd-dev \
              zlib1g-dev \
              libpq-dev \
              postgresql-server-dev-all \
              flex \
              bison

              RUN mkdir -p /fluent-bit/bin /fluent-bit/etc /fluent-bit/log /tmp/src/
              COPY . /tmp/src/
              RUN rm -rf /tmp/src/build/*

              WORKDIR /tmp/src/build/
              RUN cmake -DFLB_DEBUG=Off \
              -DFLB_TRACE=Off \
              -DFLB_JEMALLOC=On \
              -DFLB_TLS=On \
              -DFLB_SHARED_LIB=Off \
              -DFLB_EXAMPLES=Off \
              -DFLB_HTTP_SERVER=On \
              -DFLB_IN_SYSTEMD=On \
              -DFLB_OUT_KAFKA=On \
              -DFLB_OUT_PGSQL=On ../

              RUN make -j $(getconf _NPROCESSORS_ONLN)
              RUN install bin/fluent-bit /fluent-bit/bin/fluent-bit-core

              COPY conf/fluent-bit.conf \
              conf/parsers.conf \
              conf/parsers_ambassador.conf \
              conf/parsers_java.conf \
              conf/parsers_extra.conf \
              conf/parsers_openstack.conf \
              conf/parsers_cinder.conf \
              conf/plugins.conf \
              /fluent-bit/etc/

              COPY –from=buildergo /fluent-bit/fluent-bit /fluent-bit/bin/fluent-bit

              EXPOSE 2020

              CMD [“/fluent-bit/bin/fluent-bit”, “-c”, “/fluent-bit/etc/fluent-bit.conf”]

              `

              • qgr 回复了此帖

                wanjunlei 大佬您好,换成你这个dockerfile编译的fluent-bit还是不行,同样一直打印这个日志

                能帮忙看下吗?

                  wanjunlei 我看用这个crd部署也是创建一个fluent-bit的daemon-set,之前也是创建的ds。

                  现在换成用crd部署还是一样的错误,会不会和部署方式没关系,是哪里的配置有问题,麻烦大佬看下不,多谢啦。