镜像下载地址:https://www.proxmox.com/en/downloads
安装过程图解:
1、
Proxmox VE6.0.4最新版集群搭建实录_第1张图片
2、
Proxmox VE6.0.4最新版集群搭建实录_第2张图片
3、
Proxmox VE6.0.4最新版集群搭建实录_第3张图片
4、
Proxmox VE6.0.4最新版集群搭建实录_第4张图片
5、
Proxmox VE6.0.4最新版集群搭建实录_第5张图片
6、
Proxmox VE6.0.4最新版集群搭建实录_第6张图片
7、
Proxmox VE6.0.4最新版集群搭建实录_第7张图片
8、
Proxmox VE6.0.4最新版集群搭建实录_第8张图片
9、浏览器WEB登陆控制台一览
Proxmox VE6.0.4最新版集群搭建实录_第9张图片
ssh登陆上去查看下版本:
Proxmox VE6.0.4最新版集群搭建实录_第10张图片
这里我们依然创建三个结点的集群(PVE1-PVE3,192.168.26.210-212)其它结点安装略配置方法一样。
依然要更新配置下源及系统(看似相同注意版本差异)
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
apt update && apt dist-upgrade
Proxmox VE6.0.4最新版集群搭建实录_第11张图片
如果要上传ISO镜,默认的位置展示一下:
Proxmox VE6.0.4最新版集群搭建实录_第12张图片

开始创建pve集群:
pve1上执行:
pvecm create bd-data-center
Proxmox VE6.0.4最新版集群搭建实录_第13张图片
pve2上执行:
root@pve2:~# pvecm add 192.168.26.210
Proxmox VE6.0.4最新版集群搭建实录_第14张图片
注意需要输入密码进行通信认证。
同样PVE3上执行:
root@pve3:~# pvecm add 192.168.26.210
Proxmox VE6.0.4最新版集群搭建实录_第15张图片
查看下此时集群状态:任一结点上执行效果一样(展示两个结点上执行的效果)
Proxmox VE6.0.4最新版集群搭建实录_第16张图片
Proxmox VE6.0.4最新版集群搭建实录_第17张图片
登陆WEB控制台查看下此时效果:
Proxmox VE6.0.4最新版集群搭建实录_第18张图片
接着安装CEPH存储(三个结点分别安装)
Proxmox VE6.0.4最新版集群搭建实录_第19张图片
Proxmox VE6.0.4最新版集群搭建实录_第20张图片
Proxmox VE6.0.4最新版集群搭建实录_第21张图片
初始化ceph集群网段:pveceph init --network 192.168.26.0/22
Proxmox VE6.0.4最新版集群搭建实录
此时若命令查看CEPH状态会报错:pveceph status
Proxmox VE6.0.4最新版集群搭建实录_第22张图片
各结点创建ceph集群存储Mon监控:
pveceph createmon
Proxmox VE6.0.4最新版集群搭建实录_第23张图片
root@pve2:~# pveceph createmon
Proxmox VE6.0.4最新版集群搭建实录
root@pve3:~# pveceph createmon
Proxmox VE6.0.4最新版集群搭建实录
此时查看CEPH状态:
Proxmox VE6.0.4最新版集群搭建实录_第24张图片
Ansible看下各结点吧,其实都一样的。
Proxmox VE6.0.4最新版集群搭建实录_第25张图片
创建mgr三个结点都需要执行
pveceph createmgr #此结点提示已经存在
Proxmox VE6.0.4最新版集群搭建实录_第26张图片
Proxmox VE6.0.4最新版集群搭建实录_第27张图片
Proxmox VE6.0.4最新版集群搭建实录_第28张图片
查看WEB控制台此时集群状态:
Proxmox VE6.0.4最新版集群搭建实录_第29张图片
Proxmox VE6.0.4最新版集群搭建实录_第30张图片
Creating Ceph OSDs
创建Ceph OSDs 存储(三个结点执行同样操作)

root@pve1:~# pveceph createosd /dev/sdb
Proxmox VE6.0.4最新版集群搭建实录_第31张图片
在PVE1上执行后马上看下WEB控制台看下此时状态变化情况
Proxmox VE6.0.4最新版集群搭建实录_第32张图片
Proxmox VE6.0.4最新版集群搭建实录_第33张图片
PVE1上磁盘和配置信息变化情况
Proxmox VE6.0.4最新版集群搭建实录_第34张图片

同样其它两个结点执行
root@pve2:~# pveceph createosd /dev/sdb
root@pve3:~#pveceph createosd /dev/sdb
创建ceph集群存储资源池ceph osd pool create [资源池名称] 128 128
root@pve1:~# ceph osd pool create datacenter 128 128
Proxmox VE6.0.4最新版集群搭建实录_第35张图片
Proxmox VE6.0.4最新版集群搭建实录_第36张图片
Proxmox VE6.0.4最新版集群搭建实录_第37张图片
#添加RBD集群存储
Proxmox VE6.0.4最新版集群搭建实录_第38张图片
Proxmox VE6.0.4最新版集群搭建实录_第39张图片

#查看rbd集群存储配置信息(集群任一结点查看都一样)

root@pve1:~# cat /etc/pve/storage.cfg
创建前的效果:
Proxmox VE6.0.4最新版集群搭建实录_第40张图片
Proxmox VE6.0.4最新版集群搭建实录_第41张图片
创建后的效果:
Proxmox VE6.0.4最新版集群搭建实录_第42张图片
添加资源池:dbdata,iscpool,idcpool
Proxmox VE6.0.4最新版集群搭建实录_第43张图片
HA群组创建:ISCVM,IDCVM
Proxmox VE6.0.4最新版集群搭建实录_第44张图片
Proxmox VE6.0.4最新版集群搭建实录_第45张图片
创建虚拟服务器:
Proxmox VE6.0.4最新版集群搭建实录_第46张图片
Proxmox VE6.0.4最新版集群搭建实录_第47张图片
Proxmox VE6.0.4最新版集群搭建实录_第48张图片
Proxmox VE6.0.4最新版集群搭建实录_第49张图片
Proxmox VE6.0.4最新版集群搭建实录_第50张图片

其中遇到的报错解决方法:
root@pve1:~# ceph health detail
Proxmox VE6.0.4最新版集群搭建实录_第51张图片
报错解决方法:ceph osd pool application enable datacenter rbd

Proxmox VE6.0.4最新版集群搭建实录_第52张图片

高可用状态下不能进行克隆操作,否则会出错,出现虚拟机锁住,且无法直接删除的现象。
Proxmox VE6.0.4最新版集群搭建实录_第53张图片

无法删除:
用命令解锁之后即可删除虚拟机。
Proxmox VE6.0.4最新版集群搭建实录_第54张图片

root@pve2:~# qm destroy 101
VM is locked (clone)
root@pve2:~# qm unlock 101
root@pve2:~# qm destroy 101
Removing image: 1% complete...
Removing image: 2% complete...

移出高可用状态,再进行克隆操作:

Proxmox VE6.0.4最新版集群搭建实录_第55张图片
Proxmox VE6.0.4最新版集群搭建实录_第56张图片