aws EKS 角色问题

hnsvetu

我在aws上创建的EKS环境，在测试pod绑定role直接访问aws资源的时候，一直不成功。操作步骤在rancher上是成功的。
测试发现pod会以宿主机的role权限去访问资源，不知道这个问题有没有人碰到过？

zheng1

你好，可以描述一下复现步骤吗？

hnsvetu

zheng1 我现在还在测试，不确定是不是平台问题。aws可以通过IAM授权ec2内部服务的访问权限。我试着把这个功能按照官方描述添加到kubesphere平台的pod上面，但是一直不成功，pod权限还是用的宿主机的权限。
这是aws官方文档https://docs.aws.amazon.com/eks/latest/userguide/iam-roles-for-service-accounts.html
我们线上环境在rancher上可以实现，按步骤照搬过来现在不能实现效果。

zheng1

是否有指定ServiceAccount中的annotation？
https://docs.aws.amazon.com/zh_cn/eks/latest/userguide/specify-service-account-role.html

hnsvetu

zheng1 指定了，平台上好像没法直接创建SA，我使用yml文件创建的

zheng1

hnsvetu 平台上没有直接提供SA相关的配置。你确定修改的是你创建的Pod对应的SA吗？

hongming

hnsvetu

确认一下 pod 中挂载的是哪一个 serviceaccount, 并确认 token 的挂载路径
需要为挂载的serviceaccount 关联 AWS IAM role: https://docs.aws.amazon.com/zh_cn/eks/latest/userguide/create-service-account-iam-policy-and-role.html
这些环境变量并不会自动注入，需要在pod的环境变量中声明

hnsvetu

zheng1 确定的。我专门创建了一个SA

zheng1

hnsvetu 如果是一个不安装KubeSphere的EKS下，这样测试能否成功？

hnsvetu

zheng1 我们线上有一套环境，用的是rancher，是可以实现的。现在在测试往kubesphere上迁移，然后测试发现一直不成功，所以我现在不确定是不是平台的差异导致的。

hnsvetu

kind: Deployment apiVersion: apps/v1 metadata: name: testpod1 namespace: demo-project labels: app: testpod1 annotations: deployment.kubernetes.io/revision: '2' kubesphere.io/maxSurgePod: '2' kubesphere.io/minAvailablePod: '1' spec: replicas: 1 selector: matchLabels: app: testpod1 template: metadata: creationTimestamp: null labels: app: testpod1 annotations: kubesphere.io/containerSecrets: '{"testpod1":"ecr-secret"}' kubesphere.io/restartedAt: '2020-05-07T11:47:46.560Z' spec: containers: - name: testpod1 image: ***.dkr.ecr.us-west-2.amazonaws.com/devops/base command: - /bin/sh args: - '-c' - while true;do echo ok;sleep 10;done resources: limits: cpu: '1' memory: 1000Mi requests: cpu: 10m memory: 10Mi terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: IfNotPresent env: - name: AWS_ROLE_ARN value: 'arn:aws:iam::***:role/AmazonEKSPodS3BucketRole' - name: AWS_WEB_IDENTITY_TOKEN_FILE value: /var/run/secrets/eks.amazonaws.com/serviceaccount/token volumeMounts: - name: aws-iam-token mountPath: /var/run/secrets/eks.amazonaws.com/serviceaccount/ volumes: - name: aws-iam-token projected: sources: - serviceAccountToken: audience: sts.amazonaws.com expirationSeconds: 86400 path: token defaultMode: 420 restartPolicy: Always terminationGracePeriodSeconds: 30 dnsPolicy: ClusterFirst serviceAccountName: testiam serviceAccount: testiam securityContext: {} imagePullSecrets: - name: ecr-secret affinity: {} schedulerName: default-scheduler strategy: type: RollingUpdate rollingUpdate: maxUnavailable: 25% maxSurge: 25% revisionHistoryLimit: 10 progressDeadlineSeconds: 600
镜像是用的#docker search aws
cgswong/aws 这个镜像上传到ECR镜像仓库，做的测试

Forest-L

hnsvetu 直接在EKS上面kubectl apply -f 上面提供的yaml文件成功的吗？

hnsvetu

hongming 我配置文件中申明了

hnsvetu

我进入pod命令行中，能看到相关的挂载信息，而且还和线上的pod上进行过比较，感觉都没有什么问题，但是结果不一样，才想问一问

hnsvetu

Forest-L 上面提供的yaml是我测试的，我对aws账号做了隐藏处理。能生成相应的pod，但是不能获得相应的权限。权限是宿主机的权限

hongming

确认一下 /var/run/secrets/eks.amazonaws.com/serviceaccount/token 文件存在吗，eks 我不清楚，但是默认 k8s 中 serviceaccount token 是以sercret 的方式挂载的, 这里的volumeMount 会把 serviceaccount token 给覆盖掉吧，可以 copy 一个 pod 的 yaml 出来看看

volumeMounts:
- name: aws-iam-token
mountPath: /var/run/secrets/eks.amazonaws.com/serviceaccount/
volumes:
- name: aws-iam-token

hnsvetu

hongming 我贴上去，咋就没格式了。。你这个是以文件的形式上传的吗？

hnsvetu

这个是rancher上面的命令行结果

hongming

hnsvetu 应该是AWS_WEB_IDENTITY_TOKEN_FILE挂载路径的问题了

volumeMounts:
- name: aws-iam-token
mountPath: /var/run/secrets/eks.amazonaws.com/serviceaccount/
volumes:
- name: aws-iam-token
projected:
sources:
- serviceAccountToken:
audience: sts.amazonaws.com
expirationSeconds: 86400

这里的 aws-iam-token 是从哪里来的呢？ AWS_WEB_IDENTITY_TOKEN_FILE 的路径应该是 serviceaccount 的token 的挂载路径，不知道eks 中有没有特殊处理，可以试试用 /var/run/secrets/kubernetes.io/serviceaccount/token

hongming

@hnsvetu 编辑器支持markdown，贴代码块就可以了