K8s pod 容器无法ping通外网, kubesphere devOps 无法使用

kevendeng

看看calico所有pod的日志，有报错信息吗？
再分别在节点和有问题的pod上执行ip route ip addr看看网络配置呢。

ShadowOvO

kevendeng ALL-in-One 能指定网络插件为Flannel吗

ShadowOvO

kevendeng
容器内：

宿主机：

kevendeng

ShadowOvO
可以安装前修改kk配置中的network参数
https://kubesphere.io/zh/docs/installing-on-linux/introduction/vars/

ShadowOvO

kevendeng 我重新部署了好几遍，用不同方式，都可以复现这个问题，这个是coredns的日志

laminar

ShadowOvO 看起来是向100.100.2.138(136)解析gitee.com超时，这两个应该是阿里云的dns，可以咨询下阿里云ecs服务

ShadowOvO

laminar 我自己加了114的dns,还是不行

laminar

https://ask.csdn.net/questions/6494082 可以看看这个

ShadowOvO

laminar 好的

kevendeng

ShadowOvO 我记得你说过在POD内ping不通114对吧？如果是无法连接外网，那问题的根源不在coredns，而是整个网络连接的问题。
从你POD内的ip route看上去，POD网络设置是没问题的，试试在节点上执行iptables-save看看是否设置了正确的拦截规则与转发规则。

laminar

修改dns配置后还需要重启coredns才生效

另外可以贴下你的coredns配置吗，kubectl get cm -n kube-system coredns -oyaml

ShadowOvO

laminar 我删了，自动拉起的也没生效。

ShadowOvO

这是iptables

laminar

可以在宿主机上抓包看pod访问外网的流量，然后看看flannel的配置/run/flannel/subnet.env是否和flannel.1的地址匹配

建议咨询阿里云服务排查相关网络配置是否正确，如安全组、防火墙等

ShadowOvO

laminar 谢谢，已经解决了，没有给subnet做snat规则

kevendeng

ShadowOvO IP-MASQ应该是flannel自己做的，你的flannel是怎么安装的呢，为什么会有这个问题。

ShadowOvO

kevendeng 我是直接通过flannel提供的yml安装的，也感觉很奇怪

kevendeng

ShadowOvO 你是先在Linux上用kk安装了K8S与KS，CNI用的Calico，然后卸载了Calico，自己手动apply flannel的yaml安装的flannel？

ShadowOvO

kevendeng 这个是我重新搭建的，没有用kk

kevendeng

ShadowOvO 你的flannel设置的集群ip地段是10.244.0.0/16
但是你这个节点分到的ip段是10.1.0.0/24，不在集群ip段里
iptables规则里，flannel已经设置好了该有的masq规则，但是因为没有覆盖到节点ip段，导致masq失败，也就是pod不能连通外网
即使是手动加了masq规则，你目前的配置也只能支持一个节点的k8s运行，如果添加节点，网络还是会出错
至于为什么节点分配到的ip不在集群ip配置的范围内，值得研究