kubeSphere3.0 && Ceph 离线部署 【实践】【持续更新】

服务器配置【测试使用】

1. kubesphere 主节点 x 3 4c+8G +100G/100G centos 7
2. kubesphere 子节点 x 3 8c+16G+ 100G/200G centos 7
3. Ceph Mon,Osd x3 8c+16G+ 100G/500G centos 7
4. 运维服务器 8c+16G +100/200 G

环境

1. 操作系统 centos 7
2. 时间同步服务器
3. yum源服务器
4. docker 镜像仓库服务器

安装步骤

1. 安装系统
   centos 7
   独立挂载磁盘
   运维及kubs /var/lib/docker 至少100G
   运维 /mnt/registry 至少100G
   https://blog.csdn.net/jasnet_u/article/details/105773518 分区设置文档

2. 准备安装包
   a. kubesphere
   https://kubesphere.com.cn/docs/installing-on-linux/introduction/air-gapped-installation/

   
   

   b. ceph
   I. yum源调整
   centos https://developer.aliyun.com/mirror/centos?spm=a2c6h.13651102.0.0.3e221b11jXOlSx
   ceph https://developer.aliyun.com/mirror/ceph?spm=a2c6h.13651102.0.0.3e221b11jXOlSx
   II. 下载依赖
   reposync -r ceph-noarch -n
   reposync -r ceph -n

   
   

   c. 相关命令
   yum repolist 查看当前yum源
   reposync -r ceph-noarch -n 同步指定源 -n为最新版本
   yumdownloader –resolve docker-ce-19.03.8 下载指定版本的软件

   
   

   d. 相关依赖下载
   ceph 【同步】
   ceph-noarch 【同步】
   docker-ce-19.03.8-3.el7.x86_64.rpm (容器相关)
   docker-ce-cli-20.10.2-3.el7.x86_64.rpm
   containerd.io-1.4.3-3.1.el7.x86_64.rpm
   container-selinux-2.119.2-1.911c772.el7_8.noarch.rpm
   policycoreutils-python
   libcgroup
   createrepo-0.9.9-28.el7.noarch.rpm (yum源相关)
   deltarpm-3.6-3.el7.x86_64.rpm
   python-deltarpm-3.6-3.el7.x86_64.rpm
   ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm (时间同步相关)
   ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm
   libopts-5.18.12-alt2.x86_64.rpm
   e. 打包
   tar -zcvf
   f. 解压
   tar -zxvf

3. 系统配置
   域名解析
   192.168.1.23 commonserver.local commonserver
   192.168.1.24 kubsM1.local kubsM1
   192.168.1.25 kubsM2.local kubsM2
   192.168.1.26 kubsM3.local kubsM3
   192.168.1.26 kubsN1.local kubsN1
   192.168.1.27 ceph1.local ceph1
   192.168.1.28 ceph2.local ceph2
   192.168.1.29 ceph3.local ceph3
   单独挂载磁盘
   /var/lib/docker docker 本地缓存镜像
   /mnt/registry (docker/Harbor镜像仓库)
   免密登录,增加账户并设置 sudo 权限
   https://www.cnblogs.com/huchong/p/12435957.html
   禁用selinux
   禁用防火墙
   增加 hosts
   禁用CentOS-Base.repo
   禁用 epel.repo
   增加 offline.repo
   同步时间 (设置开机自启)

4. yum服务
   解压安装包 执行命令
   yum install deltarpm-3.6-3.el7.x86_64.rpm
   yum install python-deltarpm-3.6-3.el7.x86_64.rpm
   yum install createrepo-0.9.9-28.el7.noarch.rpm

   
   

   创建本地库
   createrepo . (createrepo –update 新加入包需要执行下更新)

   开放服务
   python -m SimpleHTTPServer 81 &>/dev/null & 开放到 81端口，浏览器访问即可, 防火墙要打开

   禁用默认仓库
   CentOS-Base.repo
   

   制作离线配置
   offline.repo
   [offline]
   name=Server
   baseurl=http://10.0.0.5
   enable=1
   gpgcheck=0

   测试
   yum makecache

5. 时间同步服务

   
   

   安装ntp
   yum install ntp

   
   

   配置ntp /etc/ntp.conf
   服务端
   server 127.127.1.0 #local clock
   fudge 127.127.1.0 stratum 3
   restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
   客户端
   server commonserver.local
   restrict commonserver.local nomodify notrap noquery

   
   

   启用ntp
   systemctl start ntpd
   systemctl enable ntpd

   
   

   强制刷新
   ntpdate 192.xx.xx.xx

6. docker安装
   yum install docker-ce

7. docker-compose安装
   下载
   https://github.com/docker/compose/releases/download/1.24.1
   复制
   cp xxx /usr/local/bin
   增加执行权限
   chmod +x
   注意点
   不要装高版本 python依赖会有问题

8. Harbor配置
   下载
   https://github.com/goharbor/harbor/releases

   
   

   解压
   tar xvzf harbor-offline-installer-v1.9.4.tgz

   
   

   配置 harbor.yml
   http
   默认配置即可
   https
   生成自签名证书
   修改配置文件对应配置
   hostname: commonserver.local
   https:
   port: 443
   certificate: /root/harbor/certs/domain.crt
   private_key: /root/harbor/certs/domain.key
   复制到目录
   mkdir -p /etc/docker/certs.d/commonserver.local/
   cp certs/domain.crt /etc/docker/certs.d/commonserver.local/ca.crt
   启动
   docker-compse up -d
   停止
   docker-compse down

9. ceph安装

10. kubesphere安装
    解压
    新建项目
    create_project_harbor.sh
    上传镜像
    ./offline-installation-tool.sh -l images-list.txt -d ./kubesphere-images -r dockerhub.kubekey.local
    生成配置
    ./kk create config –with-kubesphere -f config-sample.yaml
    修改配置
    先完成 ceph 配置
    addon 引用本地ceph-csi-rbd
    安装
    ./kk create cluster -f config-sample.yaml

    ceph配置
    下载helm
    ceph-csi-rbd helm
    下载镜像
    制作 imagelist.txt 并下载
    推送 到仓库
    修改ceph配置
    仓库地址
    ceph配置

参考文档
https://kubesphere.com.cn/docs/installing-on-linux/introduction/air-gapped-installation/
https://blog.csdn.net/yinlongfei_love/article/details/51813067
https://blog.csdn.net/vic_qxz/article/details/101544053
https://www.cnblogs.com/magic-chenyang/p/10968488.html
https://blog.csdn.net/qq_35663625/article/details/103064495
https://www.cnblogs.com/sanduzxcvbnm/p/11956347.html
https://blog.csdn.net/bbaiggey/article/details/72178431
持续更新。。。