member集群用户同步异常

hulengjing

yuswift 我是在host集群上登录的ldap，然后member之前是有ldap配置，用户我已经删除了，现在一直是host
的用户同步过来异常，一直在进行用户的增加授权删除

hulengjing

hongming 最开始的情况是当前的member集群设置过host集群，然后新建了一个host集群将最开始的host
修改为了member并导入到了新的host集群中，老集群中新建过企业空间/用户,用户我这边已经删除了，在新的host集群中又新建了相同的企业空间，发现是数据可以获取到的

hongming

hulengjing

这个没明白什么意思

member集群出现用户不停的在进行增加删除和授权，

member 进群中的user是通过kubefed 进行同步的可以在 host cluster 上 kubectl get federatedusers xxx -o yaml 查看状态

ks-apiserver 的日志，是正常的

E0107 09:42:19.124550 1 v2.go:105] websocket: close 1001 (going away)
W0107 09:42:27.126055 1 terminal.go:136] 1Process exited
E0107 09:52:14.522705 1 authenticator.go:102] identity mapping not match
E0107 09:52:14.522762 1 handler.go:275] identity mapping not match

ks-controller-manager 中这一行异常， reconcile 之后同步成功了

E0107 10:19:20.712661 1 kubectl.go:116] user.iam.kubesphere.io “hujing” not found
I0107 10:19:22.547841 1 user_controller.go:221] Successfully synced key:hujing

hulengjing

kubesphere的最佳实践是什么样子的？host安装所有组件进行devops相关操作，member集群只需要安装最小化进行托管k8s这样嘛？

hulengjing

hongming 我的意思是，我现在host新增了一个用户 hu’jing
member集群同步过来之后一直在重复执行创建用户、授权为admin、删除用户这三个操作。
也就是controller-manager的日志一直在重复刚才的异常日志找不到用户、创建用户、同步数据、删除用户、找不到用户

hongming

hulengjing
在 member 上kubectl get user -o yaml 看看是不是因为之前没有删除成功，看看是有没有这个label kubefed.io/managed: true

controller 中的reconcile 编辑修改都会触发，不一定是一直重复删除创建的过程

hulengjing

hongming
这边看到member上的是false

apiVersion: v1
items:
- apiVersion: iam.kubesphere.io/v1alpha2
  kind: User
  metadata:
    annotations:
      iam.kubesphere.io/password-encrypted: "true"
    creationTimestamp: "2021-01-04T02:31:00Z"
    finalizers:
    - finalizers.kubesphere.io/users
    generation: 23
    labels:
      kubefed.io/managed: "false"
    name: admin
    resourceVersion: "936438"
    selfLink: /apis/iam.kubesphere.io/v1alpha2/users/admin
    uid: 5a5c2cb7-17cf-4c2f-bdf7-fe6510a9dc8e
  spec:
    email: admin@kubesphere.io
    password: $2a$10$ryYJfBXlVFx6TgVQab5JKOKuWOPZJWXA3sZAso2z/krp1ESIO9m1K
  status:
    lastLoginTime: "2021-01-07T01:07:39Z"
    lastTransitionTime: "2021-01-04T02:42:19Z"
    state: Active
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""

hongming

目前部分组件和功能模块必须在 member cluster 上启用，比如说日志和 devops。但是 member cluster 上可以只启用一些必须的功能。正常情况下通过 host 进行管理，特殊情况下如 host 集群异常，也可以直接登录到 member 集群上对集群资源进行管理。

社区已经在着手裁剪ks-core ，尽可能的轻量化，减少member cluster的资源占用，将组件模块化按需启用

hulengjing

hongming
我能理解到kubesphere的最佳实践应该是这样的host管控所有集群
host: 统一入口、统一认证、统一权限、所需组件全开(devops、servicemesh、日志、监控。。。)
member: 最小化安装、只需开启日志和监控组件

不知道我理解的对不对

hongming

hulengjing

kubectl get user hujing -o yaml 看看，把 kubefed.io/managed 都改为 true

hulengjing

hongming 这个是我连续几次执行查看hujing用户命令

root@kubesphere-01:~# kubectl get user hujing -o yaml
apiVersion: iam.kubesphere.io/v1alpha2
kind: User
metadata:
  annotations:
    iam.kubesphere.io/password-encrypted: "true"
  creationTimestamp: "2021-01-07T05:37:57Z"
  finalizers:
  - finalizers.kubesphere.io/users
  generation: 2
  labels:
    kubefed.io/managed: "true"
  name: hujing
  resourceVersion: "1057717"
  selfLink: /apis/iam.kubesphere.io/v1alpha2/users/hujing
  uid: 128df234-51e9-4623-b33a-95f84021ac50
spec:
  email: hujing@huobi.com
status:
  lastTransitionTime: "2021-01-07T05:37:57Z"
  state: Active
root@kubesphere-01:~# kubectl get user hujing -o yaml
Error from server (NotFound): users.iam.kubesphere.io "hujing" not found
root@kubesphere-01:~# kubectl get user hujing -o yaml
Error from server (NotFound): users.iam.kubesphere.io "hujing" not found
root@kubesphere-01:~# kubectl get user hujing -o yaml
Error from server (NotFound): users.iam.kubesphere.io "hujing" not found
root@kubesphere-01:~# kubectl get user hujing -o yaml
Error from server (NotFound): users.iam.kubesphere.io "hujing" not found
root@kubesphere-01:~# kubectl get user hujing -o yaml
apiVersion: iam.kubesphere.io/v1alpha2
kind: User
metadata:
  annotations:
    iam.kubesphere.io/password-encrypted: "true"
  creationTimestamp: "2021-01-07T05:38:07Z"
  finalizers:
  - finalizers.kubesphere.io/users
  generation: 2
  labels:
    kubefed.io/managed: "true"
  name: hujing
  resourceVersion: "1057793"
  selfLink: /apis/iam.kubesphere.io/v1alpha2/users/hujing
  uid: 8b8a6aa4-f420-4051-a4b4-e5aca5ebc158
spec:
  email: hujing@huobi.com
status:
  lastTransitionTime: "2021-01-07T05:38:07Z"
  state: Active

会发现中间无法找到hujing用户，然后又出现了

hongming

hulengjing

在 member 和 host 上都执行一下看看，应该是哪里冲突了

kubectl get ns
kubectl get federatedusers

hulengjing

是需要member这边之前建立的名称空间和用户都删掉嘛？
host

root@ops-ks-01:~# kubectl get ns
kubectl get federatedusers NAME                           STATUS   AGE
default                        Active   19h
kube-federation-system         Active   19h
kube-node-lease                Active   19h
kube-public                    Active   19h
kube-system                    Active   19h
kubesphere-alerting-system     Active   4h37m
kubesphere-controls-system     Active   19h
kubesphere-logging-system      Active   19h
kubesphere-monitoring-system   Active   19h
kubesphere-system              Active   19h
root@ops-ks-01:~# kubectl get federatedusers 
NAME     AGE
admin    19h
hujing   3h10m

member

kubectl get federatedusers NAME                           STATUS        AGE
default                        Active        3d3h
demostd8m                      Terminating   2d20h
go-testb46hn                   Terminating   2d23h
huobi-otc                      Active        2d20h
istio-system                   Active        3d2h
kube-federation-system         Active        3d
kube-node-lease                Active        3d3h
kube-public                    Active        3d3h
kube-system                    Active        3d3h
kubesphere-alerting-system     Active        3d2h
kubesphere-controls-system     Active        3d3h
kubesphere-devops-system       Active        3d2h
kubesphere-logging-system      Active        3d2h
kubesphere-monitoring-system   Active        3d3h
kubesphere-system              Active        3d3h
metersphere                    Active        47h
openpitrix-system              Active        3d2h
otc-hae-pro                    Active        47h
otc-hae-test                   Active        2d20h
otc-servicen8tgb               Active        2d4h
root@kubesphere-01:~# kubectl get federatedusers 
NAME           AGE
admin          3d
hujing         46h
wanghaoran     46h
wangzhuochao   46h

hongming

hulengjing 那我知道了，应该是之前 member 当 host 使用过所以，现在 host 和 member 上的 kubefed-controller 冲突了， member 的 clusterRole 有修改吗

hulengjing

hongming

yuswift
是之前这个member集群是host集群，然后又新建了一个host集群把之前的host加进去了，之前的集群是有数据的，应该是这个冲突了，我这边把两套集群重装一下吧。辛苦两位

yuswift

由于你之前是host集群所以有一些组件跟现在的组件冲突了导致他们在不停的增加删除用户你这边member集群没有重要数据的话建议你在host集群上把你给member集群创建的资源都给删掉比如说 ws user 等然后解绑member集群最后重新安装一次member集群装好了以后按教程绑定之后的资源创建都在host执行

hulengjing

有一个问题，member集群需要开启jenkins这种的东西嘛？host开启了就可以了吧
host安装了devops可以给member集群的企业空间使用吗？

yuswift

hulengjing 如果member集群需要使用devops功能需要安装Jenkins

hulengjing

yuswift 那我这边想用一个host集群管控其他集群，host本身是个all-in-one，只负责管控，那这样的话是不是像应用商店这种就不能管控了

« 上一页