KubeSphere 3.1 添加边缘节点的“添加命令”与ksinstall中的配置端口不匹配

liamylian

使用All-in-One安装并开启KubeEdge后，在【节点管理】【边缘节点】【添加边缘节点】得到的添加命令，无法让边缘节点加入集群。修改添加命令的端口号为对应ks-installer中配置的NodePort端口号后，才可将边缘节点添加到集群。

安装方式：
All-in-One 3.1（./kk create cluster –with-kubernetes v1.20.4 –with-kubesphere v3.1.0）
KubeEdge配置方式：
【自定义资源CRD】【ClusterConfiguration】【ks-installer】配置文件中，设置KubeEdge.enable=true，及advertiseAddress为master节点外网IP。
集群服务器
阿里云4U8G，Ubuntu20.04
边缘节点
阿里云2U2G, Ubuntu20.04

zhu733756

当前ks3.1边缘节点加入依赖跟外网端口通信，你的理解有误，你图片里框的是内网端口。10000-10004是master ip开放的外部端口，30002-30004是内部端口。

zhu733756

另外实践是检验真理的唯一标准，建议你把这条命令在边缘节点添加下，理论上不会有问题的，我们已经做了充分测试，请放心使用。

liamylian

zhu733756 用10000 - 10004真的不行，我改成30000-30004才真的行，试了好几遍了，还有其他同事试10000 -10004的添加命令都不行。

我在All-in-One的Master节点上查看端口，10000-10004都没有监听，监听的试30000-30004.

zhu733756

liamylian 你的边缘节点跟master节点在一个局域网，那就用内网port。边缘节点实际上应该部署在非同一个局域网的场景比较多。你这种情况，设置的advertiseAddress是内网ip，那就用内部端口访问。我们的设计是这里应该是master ip对应的外网访问ip，边缘节点使用外网端口10000-10004通信。

liamylian

zhu733756 advertiseAddress是杭州外网IP 8.136.254.0（见帖子的第二张图advertiseAddress设置）. 我刚申请了一台不同局域网的上海节点外网IP 139.224.41.164。买法直接使用添加命令添加成功。

附：
1. 添加命令

2. 日志报错

3. 杭州master服务器

4. 上海边缘节点服务器

5. 验证不同局域网

zhu733756

看样子是证书报错，可以执行rm -rf /var/lib/kubeedge /var/lib/edged /etc/kubeedge/ca /etc/kubeedge/certs重新安装以下试试，另外10000-10004需要防火墙通过以及避免安全组屏蔽。

liamylian

zhu733756 关了防火墙，安全组全放行后，重新安装也是不行的。

zhu733756

liamylian 边缘节点分配的IP可能不对，这里是指定虚拟ip, 比如192.168.x.xx，不是用边缘节点的外网ip 8.136.254.24, 参考 https://kubesphere.com.cn/forum/d/4362-kubeedge

liamylian

目前 KubeSphere 3.1 All-in-One安装后，svc/cloudcore没有直接暴露10000 - 10004端口到节点（而是以NodePort方式暴露30000 - 30004端口）。

为了使【节点管理】【边缘节点】【添加边缘节点】得到的添加命令有效（而不是去把命令中的端口都改成30000-30004），我只能手动给deploy/cloudcore加上hostPort了（这种方式没有svc中NodePort必须30000开始的限制）。其他负载均衡，路由等方法没测试。

kubectl -n kubeedge edit deploy cloudcore

修改后再使用得到的添加命令，就能成功的将边缘节点添加到KubeSphere了。

csuffyy

zhu733756 使用虚拟IP + 10000-10004端口仍然没有连接成功，需要修改成30000-30004端口

Su600

端口不匹配这个问题确实存在，我也是折腾了好久发现有这个问题后来看到这个issue。
KubeSphere cloudcore默认把10000/10004端口通过nodePort映射到了30000/30004，而添加边缘节点的命令生成的是10000/10004，具体不是特别明白，不过确实需要改成30000/30004才成功，我用不同区域的实例测试过。

willqy

这么明显的错误，v3.2.1还存在。。内部端口和nodeport端口反了