Kubesphere 3.2.1, webhook连接超时问题！！

GaoFan

操作系统信息
例如：虚拟机 Centos7.9 2C/8G

Kubernetes版本信息
kubectl version 1.21.5

容器运行时
将 docker version 20.10.12

KubeSphere版本信息
例如：v3.2.1。离线安装, 在已有K8s上安装.

问题是什么
主要是webhook的问题，所有webhook连接超时（timeout）, 首次登录更改密码失败，添加通知管理，邮件失败。

那添加通知配置-邮件举例：

从浏览器和ks-apiserver都报如下错误：

Internal error occurred: conversion webhook for notification.kubesphere.io/v2beta1, Kind=Config failed: Post “https://notification-manager-webhook.kubesphere-monitoring-system.svc:443/convert?timeout=30s”: context deadline exceeded

notification-manager-operator中无任何报错信息，感觉这个convert并没有发送到notification-manager-operator上去。排除dns或网络问题，因为nslookup和ping的IP解析都没有问题。

首次登陆更改密码也是webhook超时问题，但通过删除ValidatingWebhookConfiguration - users.iam.kubesphere.io，可以暂时绕过。

我还尝试了更改统一证书，切换不同版本的API，都失败了，一直出现webhook超时问题，卡了好几天了，求大神破解！！！！

hongming

GaoFan webhook 请求由 kube-apiserver 发起，可以检查一下对应的 service 能否正常访问， pod，service 网络都可能会出问题， https://kubernetes.io/zh/docs/tasks/debug-application-cluster/debug-service/

GaoFan

hongming

感谢，感谢，现在我能确定不是网络的问题，原因是我在ks-apiserver的pod里部署了一个sidecar container （netshoot），从netshoot里面ping，nslookup均可以解析服务的实际pod地址，telnet对应pod 8443端口没有问题，curl可以通过正常的TLS handshake，所以在这种情况下应该不是网络不通，service是可以正常访问，所以我才非常的疑惑，notification-manager-operator里面没有任何处理request的日志。。。。

GaoFan

hongming

首次登录修改密码，在ks-controller-manager里面报错：

error syncing ‘admin-5d9vz’ in loginrecord-controller: Internal error occurred: failed calling webhook “users.iam.kubesphere.io”: Post “https://ks-controller-manager.kubesphere-system.svc:443/validate-email-iam-kubesphere-io-v1alpha2?timeout=30s”: context deadline exceeded, requeuing

啊啊啊，求大佬帮我，要死了，要死了，在ks-controller-manager的容器里面可以ping到ks-controller-manager.kubesphere-system.svc。

hongming

GaoFan 你是 eks 环境吗，可以看看这个问题，

hongming

GaoFan 可能是 kube-apiserver 到 ks-controller-manager.kubesphere-system.svc 这个 service 网络不通

kalavt

hongming 你是 eks 环境吗，可以看看这个问题，

大佬你的回复现在看上去一片空白…

GaoFan

hongming

嗯，看了这个文章了，可惜我用的不是EKS，我用的是普通虚拟机+calico。

另外用这个命令可以查看到一直连接超时的webhook：

kubectl get validatingwebhookconfiguration users.iam.kubesphere.io -o yaml

我对这个webhook的理解是，k8s集群里有这种定义的资源validatingwebhookconfiguration, 这种资源定义了当有任何request发到/iam.kubesphere.io/v1alpha2/做更新或创建的时候就会触发一个webhook发送至 /validate-email-iam-kubesphere-io-v1alpha2

所以现在的流程是当console发送请求至ks-apiserver尝试更新首次登录用户密码时，需要先触发这个webhook返回“allowed”，但这个webhook连接超时，因此console返回这个timeout错误。

所以根据上面我对整个流程的理解，不存在api-server和controller之间的沟通，也就不会有service不通的问题，而且我在容器内执ping命令，或在sidecar里telnet都是通的。

啊啊啊，怎么办？？为什么会有这么奇怪的问题呢？？只有我有这问题吗？？？？？大佬，还有没有什么其他的可能性？

hongming

GaoFan 是 kube-apiserver 到 ks-controller-manager.kubesphere-system.svc 超时了，检查一下节点网络，看看这个 https://kubernetes.io/zh/docs/tasks/debug-application-cluster/debug-service/

GaoFan

hongming

大佬请看：这种情况是不是网络应该是通的：

我的pod：

我的services：

我在ks-apiserver的deployment里面配的sidecar：

我在sidecar里面进行的网络测试：

分别尝试了nslookup解析没有问题。
telnet服务，及真实的Pod IP，可以连接。
wget -O- 返回错误400，证明至少是连通的。
用kubectl查看了pod，service，endpoints都没有问题。

大佬，这种情况是不是至少能证明网络应该没什么问题？另外为了测试我额外部署了，mongo 和 mongo-express，两者用cluster service连接，没有问题。 :

hongming

GaoFan kube-system/kube-apiserver

GaoFan

hongming

哇塞，大佬，你好像启发了我！！！不是ks-apiserver到ks-controller超时，而是kube-apiserver到ks-controller超时。

有一件事情其实我一直没搞明白，就是自定义的ValidatingWebhookConfiguration发起这个webhook请求的是kube-apiserver对吗？？而不是ks-apiserver。

如果是这样的话我可能猜到原因了，我是on-premises安装的kubespehre，我已有的K8S集群并不是跑在容器里的，我是全部通过二进制安装和配置的k8s集群。但dns和calico只负责容器间的访问，所以我的kube-apiserver找不到ks-controller-manager.kubesphere-system.svc ？？？？

hongming

GaoFan bingo，webhook 的发起方就是 kube-apiserver

xujingchao

hongming 该怎么解决这个问题

kalavt

hongming

那对于EKS, GKS 这种不能访问 kube-apiserver 的集群, 在 calico 网络下,有什么办法可以让他访问ks-controller-manager.kubesphere-system.svc,

9ishell

怎么解决，都8月份了

kalavt

遇到同样的问题… 有解决方案么?

https://kubesphere.com.cn/forum/d/8231

kalavt

issue fixed with

set ks-controller-manage hostNetwork: true
change node-local-dns ConfigMap, set health monitoring port to another port rather than 8080 (only if you have conflict with node-local-dns 8080 port)