通过建立VPN网络向集群加入外部节点所遇到的问题

你好! 这是异常节点的kubeproxy的接口信息:

@kevendeng#28737 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 08:00:27:77:06:22 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.104/24 brd 192.168.0.255 scope global dynamic noprefixroute enp0s3
       valid_lft 172510sec preferred_lft 172510sec
    inet6 fe80::a00:27ff:fe77:622/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: zt7nner2ay: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 2800 qdisc fq_codel state UNKNOWN group default qlen 1000
    link/ether 82:5f:ee:29:26:84 brd ff:ff:ff:ff:ff:ff
    inet 10.147.20.50/24 brd 10.147.20.255 scope global zt7nner2ay
       valid_lft forever preferred_lft forever
    inet6 fe80::485a:2bff:feba:277f/64 scope link 
       valid_lft forever preferred_lft forever
4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:4d:65:a0:f0 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
5: nodelocaldns: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether be:f1:45:9b:e6:c4 brd ff:ff:ff:ff:ff:ff
    inet 169.254.25.10/32 brd 169.254.25.10 scope global nodelocaldns
       valid_lft forever preferred_lft forever
6: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether f2:f9:81:df:62:f1 brd ff:ff:ff:ff:ff:ff
    inet 10.233.0.3/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.61.65/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.19.231/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.48.17/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.29.149/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.25.27/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.8.25/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.29.2/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.48.209/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.24.220/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.16.230/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.233.0.1/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever

它的路由表:

我重启了异常节点的kubeproxy，也重启了异常节点还是一样的问题,
这是重启异常节点后的kubeproxy的日志:

kevendeng 你好! 感谢您的再次帮助,我发现了一个问题, ipvsadm -ln查看异常节点的转发规则:

这个是指向master的内网地址的,不是服务器vpn地址, 请问需要如何解决?

kevendeng 感谢dalao帮忙! 让我学到很多关于k8s网络的知识, 我总结了一下:

首先是两个网络, 节点网络和pod网络(10.233.0.0/18)( k8s要求节点网络中所有节点都是互通的,
因为我是先在服务器内网部署k8s的, 所以主节点的ip就是它的内网ip, 节点网络就是服务器内网,
后来我搭建vpn想将本地机器添加进集群, 于是就多了一个vpn网络和主节点的vpnIP,
在我通过vpn在本地节点使用kubeadm join加入集群后,
kubeadm帮我安装和配置work节点需要的pod,
此处有误已由kevendeng在楼下补充:
在kubeadm配置kube-proxy的时候应该是需要从apiserver获取主节点ip的, ( apiserver使用的主节点IP通过 --advertise-address 参数设置 （/etc/kubernetes/manifests/kube-apiserver.yaml
于是就获取了主节点ip(内网ip)并设置进kube-proxy了,
我的kube-proxy再设置ipvs, 将10.233.0.1映射到主节点内网ip而不是vpn ip,
所以就导致本地节点的pod无法通过10.233.0.1去访问apiserver. ( 例如我的问题calico-node这个pod无法请求10.233.0.1:443 timeout.
于是在@kevendeng dalao的指导下,
我通过设置/etc/systemd/system/kubelet.service.d/10-kubeadm.conf和/etc/kubernetes/manifests/kube-apiserver.yaml将集群使用的节点网络从服务器内网切换成vpn就解决了.
最好确定集群节点使用的是什么网络, 要添加节点时要将节点加入进这个网络, 而不是新建一个网络.

在我理解的在pod网络中，不同节点的pod的通信路径:
节点1-pod1, 节点2-pod2

此处有误已由kevendeng在楼下补充:
pod1要访问pod2:
pod1 -> kube-proxy1 -> 节点2 -> kube-proxy2 -> pod2

如有错误请指出,非常感谢!
再次感谢@kevendeng dalao的帮助!!!