kubesphere管理控制台集群节点面板转圈并且无法获取内存信息

wangchao732

创建部署问题时，请参考下面模板，你提供的信息越多，越容易及时获得解答。如果未按模板创建问题，管理员有权关闭问题。
确保帖子格式清晰易读，用 markdown code block 语法格式化代码块。
你只花一分钟创建的问题，不能指望别人花上半个小时给你解答。

操作系统信息
例如：虚拟机Centos7.9，8C/16G

Kubernetes版本信息
将 kubectl version 命令执行结果贴在下方

Client Version: version.Info{Major:“1”, Minor:“23”, GitVersion:“v1.23.1”, GitCommit:“86ec240af8cbd1b60bcc4c03c20da9b98005b92e”, GitTreeState:“clean”, BuildDate:“2021-12-16T11:41:01Z”, GoVersion:“go1.17.5”, Compiler:“gc”, Platform:“linux/amd64”}

Server Version: version.Info{Major:“1”, Minor:“23”, GitVersion:“v1.23.1”, GitCommit:“86ec240af8cbd1b60bcc4c03c20da9b98005b92e”, GitTreeState:“clean”, BuildDate:“2021-12-16T11:34:54Z”, GoVersion:“go1.17.5”, Compiler:“gc”, Platform:“linux/amd64”}

容器运行时
将 docker version / crictl version / nerdctl version 结果贴在下方

Client: Docker Engine - Community

Version: 19.03.4

API version: 1.40

Go version: go1.12.10

Git commit: 9013bf583a

Built: Fri Oct 18 15:52:22 2019

OS/Arch: linux/amd64

Experimental: false

Server: Docker Engine - Community

Engine:

Version: 19.03.4

API version: 1.40 (minimum version 1.12)

Go version: go1.12.10

Git commit: 9013bf583a

Built: Fri Oct 18 15:50:54 2019

OS/Arch: linux/amd64

Experimental: false

containerd:

Version: 1.6.9

GitCommit: 1c90a442489720eec95342e1789ee8a5e1b9536f

runc:

Version: 1.1.4

GitCommit: v1.1.4-0-g5fd4c4d

docker-init:

Version: 0.18.0

GitCommit: fec3683

KubeSphere版本信息
3.2.1 在已有K8s上安装

问题是什么
报错日志是什么，最好有截图。

huangwm2010

wangchao732 和我遇到的问题一样

huangwm2010

huangwm2010 看我是不是和我这个问题一样

frezes

huangwm2010 @wangchao732

可以检查下 ks-installer 的日志，确认 monitoring 组件是否正常部署

wangchao732

frezes 集群监控组件都是正常的

wangchao732

frezes

wangchao732
可以参考下这个帖子的问题排查思路
https://ask.kubesphere.io/forum/d/9329-kubeshpere

wangchao732

frezes 我排查了相关问题。发现promethues 没有采集待nodeexporter 内存/cpu指标，但是并未有明显报错,所有服务均运行正常。容器使用的的是containerd node_exporter端口更改为9101.

wangchao732

wangchao732 节点的内存/cpu 获取不到，但是pod的内存/cpu是能看到的

frezes

wangchao732

先前因为端口冲突，手动修改了 node-exporter 的监听端点？你看下对应的 servicemonitor 端口与其是否匹配？
kubectl get servicemonitor -n kubesphere-monitoring-system node-exporter

wangchao732

frezes 你需要了解什么信息？统一监控用的集群外promethue,集群内node_exporter 换了端口9101 , kube-rbac-proxy secure 端口9102 upstream 地址0.0.0.0:9101

frezes

wangchao732
你讲上方 node-exporter 的 kube-rbac-proxy 的 https 端口改成你现在的 9102 试下嘞，servicemonitor 里应该是 port name 是 https，但这个 https 并不是 kube-rbac-proxy 的端口

wangchao732

frezes 你都把我说懵了，当前已经是9102了。

- name: node-exporter

  image: 'prom/node-exporter:v1.3.1'

  args:

    - '--web.listen-address=0.0.0.0:9101'

    - '--path.procfs=/host/proc'

    - '--path.sysfs=/host/sys'

    - '--path.rootfs=/host/root'

    - '--no-collector.wifi'

    - '--no-collector.hwmon'

    - >-

      --collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/docker/.+)($|/)

    - >-

      --collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$

  resources:

    limits:

      cpu: '1'

      memory: 500Mi

    requests:

      cpu: 102m

      memory: 180Mi

  volumeMounts:

    - name: proc

      readOnly: true

      mountPath: /host/proc

    - name: sys

      readOnly: true

      mountPath: /host/sys

    - name: root

      readOnly: true

      mountPath: /host/root

      mountPropagation: HostToContainer

    - name: kube-api-access-lnzw4

      readOnly: true

      mountPath: /var/run/secrets/kubernetes.io/serviceaccount

  terminationMessagePath: /dev/termination-log

  terminationMessagePolicy: File

  imagePullPolicy: IfNotPresent

- name: kube-rbac-proxy

  image: 'kubesphere/kube-rbac-proxy:v0.11.0'

  args:

    - '--logtostderr'

    - '--secure-listen-address=[$(IP)]:9102'

    - >-

      --tls-cipher-suites=TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_RSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256

    - '--upstream=http://0.0.0.0:9101/'

frezes

wangchao732

你看看它的 servicemonitor，它的spec.endpoint[0].ports 应该是 https，但与实际的监听端口对应不上。所以会将让你改下这里。

wangchao732

frezes 貌似跟这个没关系，我修改了依然如此，然而你给我提供了新的思路，修改了node_exporter 服务内部端口。