kubesphere3.1.1 跨网段同一集群的docker容器发布后，无法正常访问

yzj114477

kubesphere3.1.1

主要目的：通过自带的 calico 实现跨主机容器互联

master: 172.17.41.24
work1: 172.17.41.25
work2: 172.17.61.222

这三台机器组成了一个小集群，然后在 172.17.41.24 和 172.17.41.25 部署的应用，可以在集群里正常通讯访问，包括 172.17.61.222 也能正常访问，但是如果是发布到 172.17.61.222 的容器应用，容器分配的ip段在集群里的机器都不能正常访问，同时该机器上部署的容器也无法正常向外通讯，但是自己手工基于docker0创建的docker容器是可以向外网访问的

172.17.41.24（master）和 172.17.41.25(node) 分配的ip池的ip容器信息如下：
10.233.97.137
10.233.97.138

172.17.61.222(node) 部署容器分配的ip则是:
10.233.70.3
10.233.70.1

calico 的 ip池策略是
10.233.64.0/18

但是只要分配的ip段不是 10.233.97.* 的跨网段容器，就无法正常访问，172.17.61.222(node) 与master不在同一网段的服务器是可以通过 cali 转发访问到（172.17.41.24(master) 和 172.17.41.25(node)）上部署的 10.233.97.* 容器

不知道大家有没有碰到，这种跨网段节点与master在内网互通(没有开启防火墙)的部署，又要怎么解决？？？

Carsonyang

看下你的 Calico 用的是什么模式，是不是 ipip 隧道，部分底层 IaaS 环境会有限制，取决于你的底层环境是 OpenStack 还是物理机还是其他的虚拟化平台，需要自己排查下

yzj114477

Carsonyang 请问用什么命令查看？
我用这个工具会提示这个，所以不太清楚是怎么查看 calico 的模式是否是 ipip 隧道
calicoctl get ippool
Failed to create Calico API client: no etcd endpoints specified

我使用的是阿里云ACE服务器，在不同的网段里，不同的用户账号，但是都做了云企业网络互信，所以局域网的所有ip和端口是都可以互通的

Carsonyang

yzj114477 阿里云无法使用 BGP 模式，只能用 IP in IP 或 Vxlan 模式

yzj114477

Carsonyang 请问下使用 kubesphere 在阿里云上，怎么实现 Ip in Ip 或 Vxlan 模式，有相关教案线索吗？目前还在摸索中，感谢回答

补充:请问是这样子使用 Vxlan 吗？？

kubectl edit configmap kube-flannel-cfg -n kube-system

yzj114477

Carsonyang
你好，我换成了 flannel 后，发现一个事情，还是不通，但是这回我留了一个心眼

# 正常的节点上有这个路由
10.233.66.0/24 via 10.233.66.0 dev flannel.1 onlink

在集群正常的节点上 ping 10.233.66.1 可以通 ( 属于我一直搞不定的节点的 cni0 - ip)
但是 ping 10.233.66.2 的时候，还是不通，这个节点实在搞不定，不知道是不是docker 本身的问题也有关系？？？

然后我使用观测，通过父节点去 ping 10.233.66.2 ,结果在部署该容器(10.233.66.2)的节点上使用观测发现是有转发成功的！！！显然是本地的 flannel.1 节点与docker通讯出现了问题

tcpdump -i flannel.1 -nn icmp 

09:46:37.909310 IP 10.233.64.0 > 10.233.66.2: ICMP echo request, id 55058, seq 1, length 64
09:46:38.959799 IP 10.233.64.0 > 10.233.66.2: ICMP echo request, id 55058, seq 2, length 64
09:46:39.983796 IP 10.233.64.0 > 10.233.66.2: ICMP echo request, id 55058, seq 3, length 64

没有 10.233.66.2 > 10.233.64.0 的回执！！！！

然后我执行

iptables -nvL 
Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
 902K  160M KUBE-FIREWALL  all  --  *      *       0.0.0.0/0            0.0.0.0/0           

Chain FORWARD (policy DROP 0 packets, 0 bytes) -- policy DROP --> 所以转发失败
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         
 890K  177M KUBE-FIREWALL  all  --  *      *       0.0.0.0/0            0.0.0.0/0           

Chain KUBE-FIREWALL (2 references)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kubernetes firewall for dropping marked packets */ mark match 0x8000/0x8000
    0     0 DROP       all  --  *      *      !127.0.0.0/8          127.0.0.0/8          /* block incoming localnet connections */ ! ctstate RELATED,ESTABLISHED,DNAT


# 接着执行允许转发 ，设置 Chain FORWARD -> policy ACCEPT ，即可完成通讯转发
iptables -P FORWARD ACCEPT 


# 无法接收转发消息的机器上在观测下
tcpdump -i flannel.1 -nn icmp
dropped privs to tcpdump
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on flannel.1, link-type EN10MB (Ethernet), capture size 262144 bytes

09:55:45.068634 IP 10.233.64.0 > 10.233.66.2: ICMP echo request, id 59999, seq 1, length 64
09:55:45.068679 IP 10.233.66.2 > 10.233.64.0: ICMP echo reply, id 59999, seq 1, length 64
09:55:46.070404 IP 10.233.64.0 > 10.233.66.2: ICMP echo request, id 59999, seq 2, length 64
09:55:46.070443 IP 10.233.66.2 > 10.233.64.0: ICMP echo reply, id 59999, seq 2, length 64

问题解决了！！！！

# 如果还不行，要查阅下这个，开启转发配置
sysctl -a | grep ip_forward

net.ipv4.ip_forward = 1
net.ipv4.ip_forward_update_priority = 1
net.ipv4.ip_forward_use_pmtu = 0