使用日志报错

huanggze · 2019年11月22日

jerli
重启 es 主节点的命令：

kubectl scale sts -n kubesphere-logging-system elasticsearch-logging-discovery --replicas=0
kubectl scale sts -n kubesphere-logging-system elasticsearch-logging-discovery --replicas=1

Jjerli · 2019年11月22日

huanggze
依然有报错这个是elasticsearch-logging-curator-elasticsearch-curator-157429m64sn 这个pod下看到的报错

huanggze · 2019年11月22日

jerli curator 不用管，是定时删除日志的 CronJob，只要改好后第二天开始的 curator 不报错就行。现在日志功能如何？

Jjerli · 2019年11月22日

huanggze 还是有问题，跟之前一样的503报错

Jjerli · 2019年11月22日

huanggze · 2019年11月22日

jerli 可以提供 tv 环境吗，我们帮你远程看看 kubesphere@yunify.com

Jjerli · 2019年11月22日

huanggze 已发邮箱，可以尽快安排一下远程，谢谢

huanggze · 2019年11月22日

jerli 好的。不好意思，我今天下午在培训。我尽快回复你的邮件

huanggze · 2019年11月25日

jerli 你好，请问今天什么时候方便？

noteshare · 2020年2月23日

这个问题搞定了嘛

huanggze · 2020年2月23日

noteshare 我不记得他有没有搞定。。

Hhetao · 2020年9月9日

huanggze 大佬，我新增节点后升级到2.1.1的集群，出现了同样的问题，能帮忙给看看吗？

huanggze · 2020年9月9日

hetao 你的是什么问题？

Hhetao · 2020年9月9日

huanggze 日志的discovery服务起不来，istio服务也有两个起不来，刚才把日志功能关了，istio还是起不来，把istio也关了后集群就登录不上了。。。。。。现在master节点的docker也重启不了。。。。。。。我重启下服务器试试

重启完了，关掉了日志和istio，现在的问题感觉有两个：
一、
登录后这里一直转圈，显示不出来；
二、部分项目点重新部署不生效。

huanggze · 2020年9月9日

hetao

看看 kubesphere-system 项目下 ks-apiserver 报什么错吗

Hhetao · 2020年9月9日

huanggze
现在项目点重新部署没问题了，只有首页那个出不来

huanggze · 2020年9月9日

hetao @hongming 这个问题能帮忙看看嘛，是 LDAP 的原因？

hongming · 2020年9月9日

hetao 集群网络有问题，cluster ip 不通，检查一下集群状态

kubectl get po -A -o wide
kubectl get nodes -o wide

Hhetao · 2020年9月9日

hongming

# kubectl get po -A -o wide |grep -v Running
NAMESPACE                      NAME                                                              READY   STATUS             RESTARTS   AGE     IP              NODE     NOMINATED NODE   READINESS GATES
demo-anxi-tea                  service-cxj9e4-6ff554d6c6-56gwj                                   0/1     ImagePullBackOff   0          24h     10.233.92.152   node3    <none>           <none>
demo-yanxuan                   service-q150tc-758bb7cf86-mtks9                                   0/1     ImagePullBackOff   0          24h     10.233.92.197   node3    <none>           <none>
demo-yinfeng                   auth-hmwbrx-659c88b57b-5l6k4                                      0/1     ImagePullBackOff   0          24h     10.233.92.165   node3    <none>           <none>
demo-yinfeng                   gateway-tjhkr1-7b4cf66964-z9rwf                                   0/1     ImagePullBackOff   0          24h     10.233.92.145   node3    <none>           <none>
demo-yinfeng                   track-sbi554-7f8876686d-lth5h                                     0/1     ImagePullBackOff   0          24h     10.233.92.166   node3    <none>           <none>
demo-zhibao                    auth-pujrt3-78d64cc7c7-dd66q                                      0/1     ImagePullBackOff   0          24h     10.233.92.173   node3    <none>           <none>
demo-zhibao                    gateway-5dbd87cbb7-6kwbn                                          0/1     ImagePullBackOff   0          24h     10.233.92.179   node3    <none>           <none>
demo-zhibao                    zhibao-e9r2q8-679bd5c6-f2sv9                                      0/1     ImagePullBackOff   0          24h     10.233.92.187   node3    <none>           <none>
gago-sonarqube                 sonarqube-1-v7-8699bc689c-hhhwv                                   1/2     CrashLoopBackOff   289        24h     10.233.92.220   node3    <none>           <none>
istio-system                   jaeger-collector-79b8876d7c-mwckz                                 0/1     CrashLoopBackOff   28         125m    10.233.96.48    node2    <none>           <none>
istio-system                   jaeger-collector-8698b58b55-8hfp7                                 0/1     CrashLoopBackOff   28         125m    10.233.96.246   node2    <none>           <none>
istio-system                   jaeger-query-6f9d8c8cdb-ccsv5                                     1/2     CrashLoopBackOff   29         126m    10.233.96.186   node2    <none>           <none>
istio-system                   jaeger-query-7f9c7c84c-9s469                                      1/2     CrashLoopBackOff   28         125m    10.233.96.154   node2    <none>           <none>
jl3rd                          service-1-5c59fc669b-jv77g                                        0/1     ErrImagePull       0          24h     10.233.92.180   node3    <none>           <none>
jl3rd                          web-1-568cc584bd-wtx9m                                            0/1     ImagePullBackOff   0          24h     10.233.92.198   node3    <none>           <none>
kubesphere-alerting-system     alerting-db-ctrl-job-2xv2h                                        0/1     Completed          0          94m     10.233.96.125   node2    <none>           <none>
kubesphere-alerting-system     alerting-db-init-job-szvkk                                        0/1     Completed          0          94m     10.233.96.182   node2    <none>           <none>
kubesphere-alerting-system     notification-db-ctrl-job-vwqr5                                    0/1     Completed          0          94m     10.233.96.184   node2    <none>           <none>
kubesphere-alerting-system     notification-db-init-job-pksn4                                    0/1     Completed          0          94m     10.233.96.219   node2    <none>           <none>
kubesphere-devops-system       ks-devops-db-ctrl-job-hkqzb                                       0/1     Completed          0          96m     10.233.96.174   node2    <none>           <none>
kubesphere-devops-system       ks-devops-db-init-job-hfnll                                       0/1     Completed          0          97m     10.233.96.211   node2    <none>           <none>
kubesphere-logging-system      elasticsearch-logging-curator-elasticsearch-curator-159961hjsjl   0/1     Completed          0          7h23m   10.233.96.1     node2    <none>           <none>

# kubectl get nodes -o wide
NAME     STATUS   ROLES    AGE    VERSION   INTERNAL-IP    EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION               CONTAINER-RUNTIME
master   Ready    master   287d   v1.16.7   192.168.8.4    <none>        CentOS Linux 7 (Core)   3.10.0-693.2.2.el7.x86_64    docker://19.3.5
node1    Ready    worker   287d   v1.16.7   192.168.8.5    <none>        CentOS Linux 7 (Core)   3.10.0-693.2.2.el7.x86_64    docker://19.3.5
node2    Ready    worker   287d   v1.16.7   192.168.8.6    <none>        CentOS Linux 7 (Core)   3.10.0-693.2.2.el7.x86_64    docker://19.3.5
node3    Ready    worker   30h    v1.16.7   192.168.8.15   <none>        CentOS Linux 7 (Core)   3.10.0-957.21.3.el7.x86_64   docker://19.3.12

我把日志和istio插件false掉了

hongming · 2020年9月9日

@hetao kube-system 和kubesphere-system 下的组件都还是正常的，再看看 ks-apigateway/ks-apiserver/ks-account 这几个组件的日志，我看到上面贴的日志有大量的 connection refused 和 connection reset by peer ，检查一下节点网络是否正常

使用日志报错

huanggzeK零SK壹S

Jjerli

huanggzeK零SK壹S

Jjerli

Jjerli

huanggzeK零SK壹S

Jjerli

huanggzeK零SK壹S

huanggzeK零SK壹S

noteshareK零S

huanggzeK零SK壹S

HhetaoK零S

huanggzeK零SK壹S

HhetaoK零S

huanggzeK零SK壹S

HhetaoK零S

huanggzeK零SK壹S

hongmingK零SK壹S

HhetaoK零S

hongmingK零SK壹S