服务器配置【测试使用】

kubesphere 主节点 x 3 4c+8G +100G/100G centos 7
kubesphere 子节点 x 3 8c+16G+ 100G/200G centos 7
Ceph Mon,Osd x3 8c+16G+ 100G/500G centos 7
运维服务器 8c+16G +100/200 G

环境

操作系统 centos 7
时间同步服务器
yum源服务器
docker 镜像仓库服务器

安装步骤

安装系统
centos 7
独立挂载磁盘
运维及kubs /var/lib/docker 至少100G
运维 /mnt/registry 至少100G
https://blog.csdn.net/jasnet_u/article/details/105773518 分区设置文档
准备安装包
a. kubesphere
https://kubesphere.com.cn/docs/installing-on-linux/introduction/air-gapped-installation/

b. ceph
I. yum源调整
centos https://developer.aliyun.com/mirror/centos?spm=a2c6h.13651102.0.0.3e221b11jXOlSx
ceph https://developer.aliyun.com/mirror/ceph?spm=a2c6h.13651102.0.0.3e221b11jXOlSx
II. 下载依赖
reposync -r ceph-noarch -n
reposync -r ceph -n

c. 相关命令
yum repolist 查看当前yum源
reposync -r ceph-noarch -n 同步指定源 -n为最新版本
yumdownloader –resolve docker-ce-19.03.8 下载指定版本的软件

d. 相关依赖下载
ceph 【同步】
ceph-noarch 【同步】
docker-ce-19.03.8-3.el7.x86_64.rpm (容器相关)
docker-ce-cli-20.10.2-3.el7.x86_64.rpm
containerd.io-1.4.3-3.1.el7.x86_64.rpm
container-selinux-2.119.2-1.911c772.el7_8.noarch.rpm
policycoreutils-python
libcgroup
createrepo-0.9.9-28.el7.noarch.rpm (yum源相关)
deltarpm-3.6-3.el7.x86_64.rpm
python-deltarpm-3.6-3.el7.x86_64.rpm
ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm (时间同步相关)
ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm
libopts-5.18.12-alt2.x86_64.rpm
e. 打包
tar -zcvf
f. 解压
tar -zxvf
系统配置
域名解析
192.168.1.23 commonserver.local commonserver
192.168.1.24 kubsM1.local kubsM1
192.168.1.25 kubsM2.local kubsM2
192.168.1.26 kubsM3.local kubsM3
192.168.1.26 kubsN1.local kubsN1
192.168.1.27 ceph1.local ceph1
192.168.1.28 ceph2.local ceph2
192.168.1.29 ceph3.local ceph3
单独挂载磁盘
/var/lib/docker docker 本地缓存镜像
/mnt/registry (docker/Harbor镜像仓库)
免密登录,增加账户并设置 sudo 权限
https://www.cnblogs.com/huchong/p/12435957.html
禁用selinux
禁用防火墙
增加 hosts
禁用CentOS-Base.repo
禁用 epel.repo
增加 offline.repo
同步时间 (设置开机自启)
yum服务
解压安装包执行命令
yum install deltarpm-3.6-3.el7.x86_64.rpm
yum install python-deltarpm-3.6-3.el7.x86_64.rpm
yum install createrepo-0.9.9-28.el7.noarch.rpm

创建本地库
createrepo . (createrepo –update 新加入包需要执行下更新)

开放服务
python -m SimpleHTTPServer 81 &>/dev/null & 开放到 81端口，浏览器访问即可, 防火墙要打开

禁用默认仓库
CentOS-Base.repo

制作离线配置
offline.repo
[offline]
name=Server
baseurl=http://10.0.0.5
enable=1
gpgcheck=0

测试
yum makecache
时间同步服务

安装ntp
yum install ntp

配置ntp /etc/ntp.conf
服务端
server 127.127.1.0 #local clock
fudge 127.127.1.0 stratum 3
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
客户端
server commonserver.local
restrict commonserver.local nomodify notrap noquery

启用ntp
systemctl start ntpd
systemctl enable ntpd

强制刷新
ntpdate 192.xx.xx.xx
docker安装
yum install docker-ce
docker-compose安装
下载
https://github.com/docker/compose/releases/download/1.24.1
复制
cp xxx /usr/local/bin
增加执行权限
chmod +x
注意点
不要装高版本 python依赖会有问题
Harbor配置
下载
https://github.com/goharbor/harbor/releases

解压
tar xvzf harbor-offline-installer-v1.9.4.tgz

配置 harbor.yml
http
默认配置即可
https
生成自签名证书
修改配置文件对应配置
hostname: commonserver.local
https:
port: 443
certificate: /root/harbor/certs/domain.crt
private_key: /root/harbor/certs/domain.key
复制到目录
mkdir -p /etc/docker/certs.d/commonserver.local/
cp certs/domain.crt /etc/docker/certs.d/commonserver.local/ca.crt
启动
docker-compse up -d
停止
docker-compse down
ceph安装
kubesphere安装
解压
新建项目
create_project_harbor.sh
上传镜像
./offline-installation-tool.sh -l images-list.txt -d ./kubesphere-images -r dockerhub.kubekey.local
生成配置
./kk create config –with-kubesphere -f config-sample.yaml
修改配置
先完成 ceph 配置
addon 引用本地ceph-csi-rbd
安装
./kk create cluster -f config-sample.yaml

ceph配置
下载helm
ceph-csi-rbd helm
下载镜像
制作 imagelist.txt 并下载
推送到仓库
修改ceph配置
仓库地址
ceph配置

参考文档
https://kubesphere.com.cn/docs/installing-on-linux/introduction/air-gapped-installation/
https://blog.csdn.net/yinlongfei_love/article/details/51813067
https://blog.csdn.net/vic_qxz/article/details/101544053
https://www.cnblogs.com/magic-chenyang/p/10968488.html
https://blog.csdn.net/qq_35663625/article/details/103064495
https://www.cnblogs.com/sanduzxcvbnm/p/11956347.html
https://blog.csdn.net/bbaiggey/article/details/72178431
持续更新。。。