开源虚拟化平台的选择-Proxmox

Proxmox VE是一个完整的企业虚拟化开源平台。借助内置的Web界面，您可以轻松管理VM和容器，软件定义的存储和网络，高可用性集群以及单个解决方案上的多个开箱即用工具。 
网络上有些文章介绍Proxmox的时候，都会着重介绍其超融合、低成本、高可用的私有云平台，华数目前提供Proxmox虚拟化平台的搭建服务，官方订阅Proxmox服务大概有13000多，那么对于虚拟机数量比较少的环境下，用来替代Vmware还是比较不错的，使用Proxmox+Ceph来搭建也较好的节省了硬件成本。 
笔者使用4台物理服务器来搭建整个环境，每个节点即是计算节点也是存储节点，也简单实现了网络上说的超融合的架构。 
通过Proxmox VE+Ceph（Proxmox自带）来实现。

---

环境搭建

4台X86 2路服务器配置： 
* CPU：2*16c 
* MEM：256G 
* Disk：32G SSD*2、192G SSD*2、4T*8（配置直通卡） 
* 网卡：4口千兆*2、2口万兆*2

---

Proxmox VE安装

首先登陆官网下载Proxmox的镜像，目前应该是6.0版本。 
下载地址：https://www.proxmox.com/en/downloads/item/proxmox-ve-6-0-iso-installer 
下载完成后，通过U盘安装或者光盘安装都可以。 
安装界面如下：（截取了关键几步） 

• 选择Install Proxmox VE

• 选择安装的硬盘，这里是测试安装，在正式环境中选择了其中的SSD来作为系统安装盘。

• 设置密码，注意这个密码也是你网页管理Proxmox的用户登录名和密码。

• 网卡配置，如果是多网卡，建议选择网卡配置第一个业务地址，因为后期ceph搭建的时候还有一个ceph的内部通讯网络。直接选择默认那么是一个虚拟网卡，后期需要再修改。

接下去的步骤，点击下一步，按部就班即可。

4台服务器安装完成，即可进行下一步。

---

集群相关配置

安装完成后，网络状态正常的话，登录：https://ip:8006 即可登录Proxmox的管理平台，切记使用火狐或者Chrome。

在其中一台pve服务器的web管理界面上首先创建一个集群： 
点击创建集群即可，然后把其他三台加入进来：

1. pvecm add IP地址
2. 选择yes后，输入相关密码即可。

• 通过pvecm status查看集群状态。

---

配置集群完成后，登录如下： 

（笔者已经搭建完成，故截图是已有一些相关虚拟机和配置了~） 
这个时候登录会发现需要订阅服务的提醒，目前网络上关于关闭订阅服务都是基于之前的版本，有兴趣可以去找下，当然如果有条件，可以购买订阅服务，毕竟有服务和没有服务是不一样的，Proxmox对比Vmware还是比较小众的，出现问题，在网络上搜索到的内容还是有限，官网订阅如图，可参考： 

还有一个禁用官方的收费服务器：

1. vi修改 /etc/apt/sources.list.d/pve-enterprise.list 将下面这段话注释掉

---

这时候，如果你的设备能链接外网，那么强烈建议apt-get安装ntpdate软件包，且配置好ntp时间同步，这个在之后ceph配置安装过程中是十分重要的。

---

Ceph安装配置

配置Ceph网卡，Proxmox其实是一个定制化的Debian。

1. nano /etc/network/interface
2. 中选择万兆网卡，其实写入配置文件。
3. 配置网卡eth0的IP地址
4. auto eth0 表示网卡随系统自动请
5. iface eth0 inet static 表示网卡为静态ip地址
6. address IP地址 表示设置ip地址
7. netmask 255.255.255.0 表示子网掩码
8. gateway 网关地址不需要，因为之前业务网卡已经配置过网关，这里选择另外网段的地址来作为ceph的网络

如果设备链接在外网，那么Proxmox6版本中，点击左侧ceph，自动会进行安装，4台机器都安装ceph。

另外一种方式，通过登录服务器命令行去安装：

1. pveceph install --version 需要的版本 --每个节点安装ceph软件包
2. pveceph init --network 192.168.10.0/24 初始化ceph的网络
3. pveceph createmon --创建mon

之后登录网页管理控制台，在其余三个节点都创建mon。

之后再创建OSD，把目前系统上识别出来的硬盘，逐步添加：（笔者已添加完成，故提示没有可用硬盘） 
 

创建pool，这也只需要页面点击即可，命名，size=3表示是三副本（正常），min_size表示最小数据副本，这里需要注意pg_num,一般要保证每一个硬盘上不少于30个，不然整个ceph集群中会有警告，那么根据自身的硬盘数量来设置，后期也可以改，那么就需要去重平衡，这个时间会比较久~

创建RBD存储池，点击左侧存储，添加即可，选择之前的节点即可。

ceph设置基本完成，如图： 

---

创建虚拟机

熟悉VMware的，其实用Proxmox很容易上手，点击主机，右键选择新建即可：

 
 
选择Ceph存储，其他选项下一步根据实际情况来选择。

• 整个集群状态

• 物理主机状态

• 虚拟机状态

---

常用命令

整个搭建过程并不复杂，登录服务器，常用命令如下：

qm是最重要的命令：

1. USAGE: qm [ARGS] [OPTIONS]
2. qm cloudinit dump
3. qm guest cmd
4. qm guest exec-status
5. qm guest passwd [OPTIONS]
6. qm guest exec [] [OPTIONS]
7. qm clone [OPTIONS]
8. qm config [OPTIONS]
9. qm create [OPTIONS]
10. qm delsnapshot [OPTIONS]
11. qm destroy [OPTIONS]
12. qm list [OPTIONS]
13. qm listsnapshot
14. qm migrate [OPTIONS]
15. qm move_disk [OPTIONS]
16. qm pending
17. qm reset [OPTIONS]
18. qm resize [OPTIONS]
19. qm resume [OPTIONS]
20. qm rollback
21. qm sendkey [OPTIONS]
22. qm set [OPTIONS]
23. qm shutdown [OPTIONS]
24. qm snapshot [OPTIONS]
25. qm start [OPTIONS]
26. qm stop [OPTIONS]
27. qm suspend [OPTIONS]
28. qm template [OPTIONS]
29. qm unlink --idlist [OPTIONS]
30. qm cleanup
31. qm importdisk [OPTIONS]
32. qm importovf [OPTIONS]
33. qm monitor
34. qm mtunnel
35. qm nbdstop
36. qm rescan [OPTIONS]
37. qm showcmd [OPTIONS]
38. qm status [OPTIONS]
39. qm terminal [OPTIONS]
40. qm unlock
41. qm vncproxy
42. qm wait [OPTIONS]

1. 查看当前主机的虚拟机
2. root@pve1:~# qm list
3. VMID NAME STATUS MEM(MB) BOOTDISK(GB) PID
4. 103 redhat6o11g stopped 16384 150.00 0

ceph命令，熟悉ceph的同学，ceph的命令在这边都是适用的。

1. 如查看集群状态：
2. root@pve1:~# ceph -s
3. cluster:
4. id: 580f4d51-b80e-4842-b394-484cbd3ad0b6
5. health: HEALTH_OK
6. services:
7. mon: 4 daemons, quorum pve1,pve2,pve3,pve4 (age 4d)
8. mgr: pve1(active, since 3d)
9. osd: 40 osds: 40 up (since 3d), 40 in (since 4d)
10. data:
11. pools: 2 pools, 640 pgs
12. objects: 105.74k objects, 410 GiB
13. usage: 237 GiB used, 130 TiB / 130 TiB avail
14. pgs: 640 active+clean