KubeSphere 3.1 HA 部署之后无法完成HA测试

ruiyaoOps

高可用是需要自己设置的，不是三个节点就行，文档见https://kubesphere.com.cn/docs/installing-on-linux/high-availability-configurations/ha-configuration/

klaylin

ruiyaoOps 已经用Keepalived和haproxy做负载均衡器了，所以shutdown vip
当前所在节点可以保证kubectl能继续使用，就是KubeSphere有点问题

ruiyaoOps

那你看看 shutdown vip 当前所在节点后，各节点访问10.233.0.1:443 端口是不是通的，这个报错是集群内部的kube-apiserver的svc访问不到，看节点上有没有开防火墙、安全组啥的，一般都是防火墙的锅

klaylin

ruiyaoOps 防火墙都是一开始就关闭的。。

ruiyaoOps

你看下你的 default nm 有没有一个名为 kubernetes 的 svc, 这个 svc ip 端口是不是 10.233.0.1:443，然后试试是不是每个节点都能访问到这个ip 端口

klaylin

ruiyaoOps 只要shutdown 当前 VIP所在节点就访问不了10.233.0.1:443

klaylin

ruiyaoOps 查看svc发现这个endpoint一直是shutdown的那个节点的IP

root@km99:~# kubectl describe svc kubernetes
Name:              kubernetes
Namespace:         default
Labels:            component=apiserver
                   provider=kubernetes
Annotations:       <none>
Selector:          <none>
Type:              ClusterIP
IP Families:       <none>
IP:                10.233.0.1
IPs:               10.233.0.1
Port:              https  443/TCP
TargetPort:        6443/TCP
Endpoints:         10.203.1.82:6443
Session Affinity:  None
Events:            <none>

能不能修改这个endpoint变成VIP加端口

klaylin

应该是shutdown节点之后，节点上的api-server Pod还是处于running的状态，所以svc
不会调endpoint到其他master节点，不知道为什么节点shutdown，上面的pod
还是running的

klaylin

还是这个svc的endpoint只有一个master的

kevendeng

创建KS集群时，是否在config.yaml里将.spec.controlPlaneEndpoint.address设为Keepalived的VIP？

如果正确设置了这个值，kubernetes service 的 endpoint应该就是VIP，shutdown某个master不会导致服务不可达。

至于Node已NotReady，但Pod未被驱逐，是由于K8s控制面的Pod都设置了通用的toleration，可以通过以下命令看到：

kubectl get pod -n kube-system -l component=kube-apiserver -o jsonpath='{.items[0].spec.tolerations}'

klaylin

kevendeng 谢谢回复，.spec.controlPlaneEndpoint.address 设定的一直是 VIP 的值，关于Node已NotReady，但Pod未被驱逐，通过命令查看到是这样
kubectl get pod -n kube-system -l component=kube-apiserver -o jsonpath=‘{.items[0].spec.tolerations}’

[{“effect”:“NoExecute”,“operator”:“Exists”}]

24sama

kk用的是什么版本呢？

./kk version

现在可以尝试编辑一下 kubeadm-config的configmap:

kubectl edit cm -n kube-system kubeadm-config

如果文件中有下面这行，就删了：

apiServer:
  extraArgs:
    advertise-address: {{ 猜测是master1的地址}} // 删除该行

并且在每台master节点上，修改/etc/kubernetes/kube-apiserver.yaml文件：

metadata:
  annotations:
    kubeadm.kubernetes.io/kube-apiserver.advertise-address.endpoint: 192.168.0.1:6443 // 改成vip地址
spec:
  containers:
  - command:
    - kube-apiserver
    - --advertise-address=192.168.0.1 // 改成当vip地址

klaylin

24sama 谢谢回复，太久没登陆了
之前通过修改每个master节点上的 /etc/kubernetes/manifests/kube-apiserver.yaml 里的advertise-address 为本地节点的地址，解决了
后续可以按照你这边的方法检查一下看看