node节点删除失败

freemankevin

创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。如果未按模板创建问题，管理员有权关闭问题。
确保帖子格式清晰易读，用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。

操作系统信息
虚拟机，Centos7.9，资源充足

Kubernetes版本信息

Client Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.6", GitCommit:"8a62859e515889f07e3e3be6a1080413f17cf2c3", GitTreeState:"clean", BuildDate:"2021-04-15T03:28:42Z", GoVersion:"go1.15.10", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.6", GitCommit:"8a62859e515889f07e3e3be6a1080413f17cf2c3", GitTreeState:"clean", BuildDate:"2021-04-15T03:19:55Z", GoVersion:"go1.15.10", Compiler:"gc", Platform:"linux/amd64"}

容器运行时

Client: Docker Engine - Community
 Version:           20.10.9
 API version:       1.41
 Go version:        go1.16.8
 Git commit:        c2ea9bc
 Built:             Mon Oct  4 16:08:14 2021
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server: Docker Engine - Community
 Engine:
  Version:          20.10.9
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.16.8
  Git commit:       79ea9d3
  Built:            Mon Oct  4 16:06:37 2021
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.4.11
  GitCommit:        5b46e404f6b9f661a205e28d59c982d3634148f8
 runc:
  Version:          1.0.2
  GitCommit:        v1.0.2-0-g52b36a2
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

KubeSphere版本信息
v3.1.1，离线安装，kk安装

问题是什么
node删除失败，但新增节点时仍显示旧的node节点，页面上也能看到

freemankevin

我们的服务器管理员降低node3的CPU主频，然后我的node3就凉凉了，现在删除也没法删除，官方文档提供的那种方式没法删除，想问下还有其他方式删除吗？至少让前端不再显示那个异常的node3。上图的node4是node3异常之后新增的节点。

错误日志：

$ ./kk delete node  node3  -f config-sample.yaml
Are you sure to delete this node? [yes/no]: yes
INFO[20:45:04 CST] Resetting kubernetes node ...
[master1 10.0.1.209] MSG:
node1
node2
node3
ERRO[20:45:37 CST] Failed to drain the node: Failed to exec command: sudo -E /bin/sh -c "/usr/local/bin/kubectl drain node3 --delete-local-data --ignore-daemonsets"
Flag --delete-local-data has been deprecated, This option is deprecated and will be deleted. Use --delete-emptydir-data.
node/node3 already cordoned
error: unable to drain node "node3", aborting command...

There are pending nodes to be drained:
 node3
error: cannot delete Pods not managed by ReplicationController, ReplicaSet, Job, DaemonSet or StatefulSet (use --force to override): kube-system/cleanup-pvc-d8c1f675-be42-4e14-b983-f1eef976eb49: Process exited with status 1  node=10.0.1.209
WARN[20:45:37 CST] Task failed ...
WARN[20:45:37 CST] error: interrupted by error

freemankevin

现在node3节点直接失联，然后之前node3上的资源一直处于回收状态，如果node3始终无法连接，是否意味着永久回收下去？

[root@master1 ~]# kubectl get po -A -o wide |grep node3|egrep -v 'Completed|Running'
gd-dev                         portal-manage-5d85ff476b-hm8wj                                    1/1     Terminating        2          17h     10.233.92.47    node3     <none>           <none>
gd-dev                         portal-personal-79d6df5d9b-hskq4                                  1/1     Terminating        0          17h     10.233.92.46    node3     <none>           <none>
gd-dev                         postgresql-0                                                      1/1     Terminating        0          2d11h   10.233.92.24    node3     <none>           <none>
gd-dev                         rabbitmq-0                                                        1/1     Terminating        0          2d11h   10.233.92.33    node3     <none>           <none>
gd-sys-plat                    gd-sys-auth-6cc644d4dc-9569p                                      0/1     Terminating        1950       13d     10.233.92.222   node3     <none>           <none>
gd-sys-plat                    gd-sys-gateway-797696fb5-48ksm                                    0/1     Terminating        1478       13d     10.233.92.232   node3     <none>           <none>
gd-sys-plat                    gd-sys-system-57cbd8fdc8-g5zns                                    0/1     Terminating        415        13d     10.233.92.240   node3     <none>           <none>
istio-system                   kiali-operator-7cc57dff58-5qw6z                                   1/1     Terminating        3          16d     10.233.92.244   node3     <none>           <none>
kube-system                    cleanup-pvc-d8c1f675-be42-4e14-b983-f1eef976eb49                  0/1     Terminating        0          16h     <none>          node3     <none>           <none>
kube-system                    metrics-server-6958566fd5-nmtrb                                   0/1     Terminating        1          2d12h   10.0.1.217      node3     <none>           <none>
kubesphere-devops-system       s2ioperator-0                                                     1/1     Terminating        3          16d     10.233.92.242   node3     <none>           <none>
kubesphere-devops-system       sonarqube-postgresql-0                                            1/1     Terminating        1          2d10h   10.233.92.35    node3     <none>           <none>
kubesphere-logging-system      elasticsearch-logging-data-1                                      0/1     Terminating        0          2d10h   10.233.92.36    node3     <none>           <none>
kubesphere-logging-system      elasticsearch-logging-discovery-0                                 1/1     Terminating        0          2d10h   10.233.92.30    node3     <none>           <none>
kubesphere-logging-system      fluent-bit-v5v6z                                                  1/1     Terminating        0          2d11h   10.233.92.25    node3     <none>           <none>
kubesphere-logging-system      ks-events-ruler-7c6bcc5dc6-cr8nz                                  2/2     Terminating        5          2d12h   10.233.92.227   node3     <none>           <none>
kubesphere-logging-system      ks-events-ruler-7c6bcc5dc6-mw2vm                                  2/2     Terminating        4          2d12h   10.233.92.230   node3     <none>           <none>
kubesphere-logging-system      logsidecar-injector-deploy-5d846c6697-t4jds                       2/2     Terminating        2          16d     10.233.92.235   node3     <none>           <none>
kubesphere-monitoring-system   alertmanager-main-0                                               2/2     Terminating        2          16d     10.233.92.226   node3     <none>           <none>
kubesphere-monitoring-system   prometheus-k8s-0                                                  3/3     Terminating        1          2d10h   10.233.92.37    node3     <none>           <none>
kubesphere-system              ks-apiserver-79b65b86b6-kf65d                                     1/1     Terminating        0          2d11h   10.233.92.17    node3     <none>           <none>
minio                          minio-77889585fb-76724                                            1/1     Terminating        0          2d11h   10.233.92.5     node3     <none>           <none>
weave                          weave-scope-cluster-agent-6684655cd6-lt6sr                        1/1     Terminating        1          2d12h   10.233.92.225   node3     <none>           <none>
[root@master1 ~]#

laminar

现在可以通过 kubectl get node 查看到节点吗，通过 kubectl get\describe node node3 可以查看到信息吗（如果可以的话希望也可以提供下）

freemankevin

laminar 那会机器直接无法启动了，现在机器启动后就一切正常了，然后我就用官方的方法给这个异常节点清理掉了。现在卡在无法调度的问题

0/6 nodes are available: 3 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 3 node(s) had volume node affinity conflict.

laminar

freemankevin 好的 😀

kevendeng

freemankevin

你的存储是用的openEBS localPV吗？这个Pod应该是绑定了本地存储，节点就是那个被删掉的节点，现在节点没了，自然没法运行了。

把对应的PVC通过kubectl get -o yaml记录下来，强行删掉对应的PVC/PV，（因为node已经删除，PVC可能会卡在terminating阶段无法删除，此时kubectl edit pvc，将finalizer移除即可，PV同理），然后创建一个同名、同命名空间、同capacity的PVC即可。

freemankevin

laminar 恩，可能和我用官方提供的local的存储类型导致的，移除旧的node节点后，上面的PVC没有顺带卸载掉，然后新的pod仍然处于挂载状态但实际不可用的旧的存储卷，卸载后删除无法调度的pod会自动重新成功。

截图如下：

不知是官方一键安装的那个脚本工具里将这个node3写死的原因，还是存储类型local导致Node节点移除后PVC仍然挂载导致，之前3.0时使用的是NFS，移除Node节点就没有遇到过这种情况。

freemankevin

kevendeng 是的，感谢，现在可以了。

kevendeng

freemankevin

很欣慰看到你自己解决了这个问题。

LocalPV与NFS等网络存储是不一样的，它本身就是节点上的一个目录，所以不存在”写死“的概念，基于LocalPV创建的PVC，数据都写在节点本地，Pod自然只能运行在这个节点上。

freemankevin

kevendeng 好的，我也是查看网上别人论坛才想到PVC的问题 🤣 ，链接：
https://stackoverflow.com/questions/51946393/kubernetes-pod-warning-1-nodes-had-volume-node-affinity-conflict