离线环境下kubeoperator在openstack环境自动部署k8s
离线环境下kubeoperator在openstack环境自动部署k8s
测试环境信息
三个节点测试环境配置信息
| 节点 | IP | 资源配置 |
|---|---|---|
| kubeoperator | 192.168.50.46 | 4core8G、200G磁盘 |
| openstack contoller01 | eth0:10.10.10.2 管理网络vip 10.10.10.254；eth1:192.168.50.220、 public网络vip:192.168.50.223 | 6core16G、200G根磁盘、500G数据磁盘 |
| openstack compute01 | eth0: 10.10.10.3 eth1: 连接192.168.50.0/24网段，未配置IP | 8core16G、200G磁盘 |
openstack网络信息配置
| 名称 | 网段 | 备注 |
|---|---|---|
| 管理网络 | 10.10.10.0/24 | openstack节点间控制流量、存储流量联通 |
| public网络 | 192.168.50.0/24 | 公共网络，可以用于浮动IP，flat类型外部网络 |
| 私有网络 | vxlan: 22, 172.18.45.0/24 | 配置vxlan，可以创建多个不同网络 |
kubeoperator通过public网络与openstack通信，kubeoperator调用openstack api在flat类型外部网络中创建虚拟机。并且使用public网络与虚拟机通信，进行k8s集群离线化部署。
kolla-ansible部署openstack
为实现在外部网络也能管理openstack各个物理节点以及dashboard，在/etc/kolla/globals.yml配置文件中配置以下的参数：
kolla_internal_vip_address: "10.10.10.254" #内部网络VIP
kolla_external_vip_address: "192.168.50.220" #外部网络VIP
network_interface: "eth0" #内部管理、存储、私有网络接口
neutron_external_interface: "eth1" #neutron接入外部网络的接口
kolla_external_vip_interface: "eth1" #外部网络VIP使用的接口
为使用controller01上的第二块盘作为cinder存储，在controller01节点上配置第二块盘/dev/vdb如下
pvcreate /dev/vdb
vgcreate cinder-volumes /dev/vdb
在/etc/kolla/globals.yml配置文件中配置以下的参数：
enable_cinder: "yes"
enable_cinder_backend_lvm: "yes" #controller01使用cinder方式
enable_cinder_backend_iscsi: "yes" #compute01远程使用controller01上的cinder-volumes方式
配置multinode角色文件
[all]
control01 ansible_host=10.10.10.2 ansible_ssh_user=root
compute01 ansible_host=10.10.10.3 ansible_ssh_user=root
[control]
control01
[network]
control01
[compute]
control01
compute01
[monitoring]
control01
[storage]
control01
[deployment]
localhost ansible_connection=local
......
然后运行部署命令
kolla-ansible -i multinode bootstrap-servers
kolla-ansible -i multinode prechecks
kolla-ansible -i multinode deploy
kolla-ansible -i multinode post-deploy
kolla-ansible -i multinode check
如果部署完成后，只针对cinder配置进行了修改，则只需要
kolla-ansible -i multinode deploy -t haproxy,cinder,iscsi,horizon
如果部署完成后，增加compute02计算节点，只需把compute02节点放到[compute]组下，然后运行
kolla-ansible -i multinode deploy --limit compute02
如果部署完成后，需要切换public网路配置，修改globals.yml配置文件网络配置后，运行
kolla-ansible -i multinode deploy
kolla-ansible -i multinode deploy --skip-tags nova #若nova_libvirtd容器重启任务报错
重启所有容器来使用新的配置文件。
kubeoperator对接openstack
openstack环境必须配置存储，为简单起见，使用cinder存储。（因为kubeoperator调用了获取openstack存储的接口，如果没有配置，则会报错）
kubeoperator非常简单，github项目上提供了离线包的下载地址，解压离线包，执行里面的install.sh，使用默认配置即可。
openstack中网络，镜像，实例套件，卷类型创建如下
网络：创建flat类型网络ext_flat_net供k8s节点使用，配置IP网段为192.168.50.160-192.168.50.180。
使用centos7.9 iso构建centos7.9极少化操作系统模板。
创建4core8G和2core4G实例套餐供创建k8s节点虚拟机使用。
kubeoperator界面上配置openstack的信息，这些信息可以从openstack的界面和部署节点上/etc/kolla/admin-openrc.sh文件中获取。
创建IP池，地址是在openstack中的配置的ext_flat_net子网网段192.168.50.160-192.168.50.180。
使用自己的模板centos-79-mini-nofirewalld（部署脚本会关闭firewalld和selinux，可以不在模板中配置）。
因为我的环境资源有限，选择一主多节点模式，生产环境采用高可用的多主多节点部署模型。master节点使用4c8g实例套餐，worker使用2c4g实例套餐。
使用部署计划创建k8s集群，支持AMD64、ARM64以及AMD6跟ARM64混合部署。
配置k8s的pod网络，单个节点上pod最大数量等等。
配置部署k8s的网络插件，支持calico，flannel，cilium三种。
配置helm版本（v2或者v3）、ingress插件（nginx，traefik等）、是否安装gpu套件（调度GPU功能有用）。
使用之前创建的额部署计划flat-custom创建k8s集群。
等待半个小时左右，具体时间看环境网络状况。会看到openstack环境自动生成了两台虚拟机部署k8s集群。
创建k8s集群成功。
附录
遇到的问题
1、kubeoperator在部署k8s时，在更新yum repo时会可能因为网络原因失败（ansbible连接超时时间应该配置长一点），点击重试按钮即可。
解决办法，点击对话框的重试按钮即可。
2、kubeoperator部署完k8s后，无法获取metics-server的指标，报错Client.Timeout exceeded while awaiting headers。
解决办法，给metrics-server的deployment加上hostNetwork: true配置。