应用部署和回滚虽界面显示成功但实际上没有任何操作

haormj

环境说明：

kubesphere 我是基于 AWS EKS 搭建（新加坡节点），其中 cluster config 中我打开了所有功能
应用仓库为自建搭建的 harbor，在项目中添加了自建 helm charts
自建的 helm charts 中，有一个 nginx 应用
- 1.14.3: 正常 nginx
- 1.14.4: 修改 service，type 从 ClusterIP 变为 NodePort
- 1.15.1: 修改 nginx 镜像版本
应用没有使用 configmap

操作步骤：

在应用面板中部署 nginx 1.14.2
部署完成后，在应用 -> 应用模板 -> 版本信息中能够看到当前版本为 1.14.3，有版本 1.14.4 1.15.1
在 1.14.4 版本后点击升级后，图形界面显示升级中，升级完成后，版本也显示为 1.14.4，但是应用关联的 service 并没有发生变化，还是 ClusterIP
在 1.15.1 版本后继续点击升级，图形界面显示升级中，升级完成后，版本也显示为 1.15.1，但是应用关联的负载中的 nginx 镜像并没有升级，还是老镜像

通过以上升级后，感觉应用升级这个功能有问题，虽然显示升级成功，但实际上没有任何操作，而且回滚和升级应用显示的状态都是升级；通过 helm 操作都是正常的

zheng1

你好，可以把这三个版本的配置包都贴到这里来吗？

Feynman

zheng1 haormj 论坛无法上传 tgz 文件，可以上传到一个网盘或者个人的 github。zheng1 是否需要用户帮忙提供实际的 console 环境去排查？

haormj

上传文件支持什么格式呢？我这边直接上传提示不支持

zheng1

Feynman 有配置包就可以排查了。现在看上去估计是helm template的问题

zheng1

你好，这个的原因是这样的：
openpitrix里面根据应用模板创建实例时，指定的应用配置是完整的values.yaml，升级和降级是针对配置包中的template部分，values.yaml合并之后还是用原先的image tag和service type。如果你现在需要正常升级的话，建议把这种需要的部分放到templates里面。我们会在下一个版本中自动化处理这个问题

haormj

感谢回复，我试下

haormj

你好：

通过我这边测试，如果将 values.yaml 中的 image 和 service 配置到 template 中的话，确实可以进行升级操作
不过 service.kind 不能够从 NodePort 变为 ClusterIP，这个看起来是不允许的（感觉也合理，因为会导致不可用）,具体见报错日志
除了 service.kind 和 deployment image 外，template 中的 service.yaml 和 deployment.yaml 其他模板会在升级和回滚的时候替换吗？
- 之所以问这个问题，如果在后续的升级和回滚中都不在重新渲染value中的值，那么我们自建的helm charts应用若需要使用ks，就不能使用模板了

错误日志：

2020-11-10 08:00:48.53899 -ERROR- Failed to handle subtask in runtime [host]: rpc error: code = Unknown desc = cannot patch “t1-3hxozw” with kind Service: Service “t1-3hxozw” is invalid: spec.ports[0].nodePort: Forbidden: may not be used when type is ‘ClusterIP’ (controller.go:412)(t-9W00m9gxjmlV|j-n2gOpkKjyOmK)

Jeff

haormj 这个错误是因为service的类型是 ClusterIP，而你却给service设置了nodeport，这是不允许的，nodeport只能是在服务类型为NodePort的时候才能设置。你检查下你的yaml。

haormj

上述这个问题是在服务回滚的时候出现，当前版本我使用的service kind为 NodePort，上一个版本使用的service Kind为ClusterIP，结果回滚的时候报错

zheng1

haormj 你好，这是一个已知的问题，详细的介绍可以看这个 https://www.ibm.com/support/knowledgecenter/SSSHTQ/omnibus/helms/all_helms/wip/reference/hlm_upgrading_service_type_change.html

haormj

环境说明：

kubesphere 我是基于 AWS EKS 搭建（新加坡节点），其中 cluster config 中我打开了所有功能
应用仓库为自建搭建的 harbor，在项目中添加了自建 helm charts
自建的 helm charts 中，有一个 ironman 应用，该应用使用了 configmap
- 0.9.0: 使用 0.9.0 的 configmap
- 0.10.0: 使用 0.10.0 的 configmap

操作步骤：

在应用面板中部署 ironman 0.9.0，运行正常
部署完成后，在应用 -> 应用模板 -> 版本信息中能够看到当前版本为 0.9.0，有版本 0.10.0
在 0.10.0 版本后点击升级，图形界面显示升级中，等待一会之后，应用状态为活跃
- 但版本还是显示为 0.9.0
- deployment 更新为 0.10.0
- deployment 依赖的 configmap 更新为最新
- 应用点击进去后资源状态中并没有显示服务和工作负载

haormj

@zheng1 可以帮忙看下 haormj haormj 这个问题吗？

zheng1

haormj 已经复现了，看上去是bug，我们想办法修复一下

haormj

下图是补充上述问题的截图

haormj

zheng1 感谢回复，确实如你所说

helm version: version.BuildInfo{Version:“v3.4.0”, GitCommit:“7090a89efc8a18f3d8178bf47d2462450349a004”, GitTreeState:“clean”, GoVersion:“go1.14.10”}
helm rollback 和 helm upgrade 将service 从 NodePort 变为 ClusterIP 都会提示 Error: cannot patch “t4-1605057377” with kind Service: Service “t4-1605057377” is invalid: spec.ports[0].nodePort: Forbidden: may not be used when type is ‘ClusterIP’

haormj

zheng1 感谢回复，复现就好

最近准备落地，线上环境中会使用configmap，如果有了configmap应用就无法升级和回滚，这个感觉影响比较大，有如下两个问题，希望能得到解答：

该bug修复后的发布计划是什么样的
是否能够在使用流程上规避这个问题

zheng1

haormj

fix会包含在KS 3.1版本中
有办法规避，在升级前后的configmap name中，如果都是一致的，就不会有问题，也就是升级前后的configmap name: {{ include "ironman.fullname" . }} 不需要包含后面的 -0.9.0, 这样升级的时候就不会失败了

haormj

zheng1 感谢回复，去掉也不行，我最初就是没加版本号

操作步骤：

在应用面板中部署 ironman 0.13.0，运行正常
部署完成后，在应用 -> 应用模板 -> 版本信息中能够看到当前版本为 0.13.0，有版本 0.14.0
在 0.14.0 版本后点击升级，图形界面显示升级中，等待一会之后，应用状态为活跃
- 但版本还是显示为 0.13.0
- deployment 依赖的 configmap 还是老的
- 本次应用升级失败

错误日志：

2020-11-12 01:12:21.46488 -ERROR- Failed to handle subtask in runtime [host]: rpc error: code = Unknown desc = cannot patch “ironman-9gj8kw” with kind ConfigMap: Operation cannot be fulfilled on configmaps “ironman-9gj8kw”: the object has been modified; please apply your changes to the latest version and try again (controller.go:412)(t-E7WzJ5GmDZ8n|j-KRNzrNwZBRPD)

haormj

haormj zheng1 去掉版本号确实是可以的，上述问题经过我的尝试，结论如下

不修改helm charts的情况下，ks，helm，kubectl部署都有问题
经过我这边的排查，发现我的configmap中包含了 resourceVersion，我修改了内容，但是这个resourceVersion没有修改，我删除 resourceVersion 这个字段就可以了
resourceVersion说明参考文档

zheng1

haormj 好的，现在功能正常了吗？