“超融合”这个概念,可以简单理解为:将虚拟计算平台和存储融合到一起,将每台服务器里面自带的硬盘组成存储池,以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构。在这里,也讲解一下超融合相对于传统虚拟化方案的优势。

横向与纵向的扩展性
顾名思义,横向扩展就是当发现存储和计算资源不够用了,按需添加服务器即可。比如,当用户的共享存储写满了,用户不得不花大价钱去购买一个新的存储机柜,然而此时存储机柜的资源利用率是很低的。而使用超融合方案的用户,他们只需要投入较少的费用去购买一个新的服务器加入集群,即可扩展存储空间。
便捷提供多副本,提高数据安全
超融合方案可便捷支持2-3个副本。当某些服务器损坏时,若采用超融合方案,所需要的数据还会存在对应的副本里,工作还能正常进行。而对比于传统的共享存储,用户想做两个副本时,只好硬着头皮再买一个一模一样的存储设备做备份,增加了不少IT投资。
分布式存储,拉近计算和存储的距离
传统的共享存储在数据读写时,都需要通过网线或光纤进行数据传输。而超融合分布式的存储在读数据的时候,基本都是直接读取本地的副本数据,减少数据流经网线或光纤的时间,加快数据读取速度。
软硬件一体化,省钱省力省心
超融合方案所支持的软硬件一体化,即用户可以一次性轻松地把云数据中心部署好,其中包括服务器、服务器虚拟化、存储虚拟化等虚拟化软件。对比不少用户会分开购买硬件和软件,采购成本较高。同时,软硬件一体机在出厂时已将软件植入到硬件当中,并且已经通过兼容测试,用户可直接架到机房,通电并简单配置即可使用。
总结超融合特点及优势:
• 去中心化:没有专门的控制节点,无需考虑控制节点的单点问题。
• 去集中存储:传统的私有云集群架构,保障可用性是以共享存储方式实现的。但共享存储本身就是单点,虽然可以以多磁盘冗余已经双控制器的方式提高可用性,但仍然存在IO集中、性能无法提升的困境。
• 更低的建设成本:去掉昂贵的中心化存储,磁盘分布到本地物理服务器,投资成本大幅度降低。
• 在线扩容:不停止服务,对物理机配件(内存、cpu等)进行扩容,甚至新增物理节点。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第1张图片

PVE集群搭建过程简述:(3个结点PVE1-PVE3:192.168.26.210-212)
1、安装下载pve官方ISO镜像安装即可,操作很简单跟着提示下一步即可(如果有特别的存储配置注意安装的时候配置下,也可以后期再进行设置不过相对可能要繁琐些)
安装成功后使用浏览器WEB登陆效果:
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第2张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第3张图片
2、登陆(通过ssh)三个结点更新源及系统。
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade

Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第4张图片
3、开始创建集群在pve1上执行root@pve1:~# pvecm create pve-cluster
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第5张图片
4、在pve2上执行root@pve2:~# pvecm add 192.168.26.210注意需要输入密码认证。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第6张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第7张图片
5、同样在PVE3结点上执行命令root@pve3:~# pvecm add 192.168.26.210同样需要输入密码认证
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第8张图片
6、集群成功创建查看集群状态:三个结点任一一个上面都可以。
root@pve1:~# pvecm status
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第9张图片
再切换一个结点试下查看状态
root@pve2:~# pvecm status
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第10张图片
7、回到WEB管理台发现三个结点都已经出现了(集中中任一结点都可以)
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第11张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第12张图片
8、为集群建立可靠的存储(Ceph存储,注意三个集群结点都需要执行)
root@pve3:~# pveceph install --version luminous
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第13张图片
9、初始化存储集群网络段,以便进行通信,注意需要和PVE集群同网段,否则会报错(只需在PVE1结点上执行一次即可):
root@pve1:~# pveceph init --network 192.168.33.0/24
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第14张图片
No active IP found for the requested ceph public network '192.168.33.0/24' on node 'pve1'
换成同网段:
root@pve1:~# pveceph init --network 192.168.26.0/22
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第15张图片
10、创建ceph集群存储Mon监控(三个结点都需要,不然高可用都无效,实测有结点故障时会一直卡住,至到MON结点恢复)
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第16张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第17张图片
11、创建ceph集群存储mgr(Creating Ceph Manager)同样需要三个结点都安装不然无法实现高可用。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第18张图片
pveceph createmgr #但提示已经存在,原因是安装监控MON的时候自动已经安装上了。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第19张图片
12、创建Ceph OSDs(Creating Ceph OSDs)同样三个结点都需要执行一样操作。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第20张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第21张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第22张图片
13、创建集群存储资源池(Creating Ceph Pools)此操作只需要任一结点上执行即可。
root@pve1:~# ceph osd pool create pvepool 128 128
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第23张图片
此时查看下存储集群状态ceph -s
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第24张图片
有报警:ceph:health_warn clock skew detected on mon的解决办法
造成集群状态health_warn:clock skew detected on mon节点的原因一般有两个,一个是mon节点上ntp服务器未启动,另一个是ceph设置的mon的时间偏差阈值比较小。排查时也应遵循先第一个原因,后第二个原因的方式。
修改时间偏差阈值(记得重启服务)
# vi ceph.conf
在global字段下添加:
mon clock drift allowed = 2 mon clock drift warn backoff = 30
# ceph -s
显示health_ok说明问题解决
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第25张图片
14、添加RBD集群存储(打开浏览器登陆WEB控制台配置)
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第26张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第27张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第28张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第29张图片
注意选择使用超融合CEPH池。
查看rbd集群存储配置信息
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第30张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第31张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第32张图片
15、测试创建虚拟服务器PVE1上
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第33张图片
安装CENTOS6.6
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第34张图片
pve3安装XP
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第35张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第36张图片
关闭其它节点(节点1)不影响安装操作
测试高可用:先配置
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第37张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第38张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第39张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第40张图片
测试:PVE3关机后收到报警(安装的时候配置了邮件地址的)
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第41张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第42张图片
过两分钟还会收到一封邮件:提示故障已经成功转移。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第43张图片
虚拟服务器已经转移
看下WEB平台浏览的状态:
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第44张图片
我们恢复PVE3.
恢复后自动迁移回去了,因为其权重高些(生产环环境不建议直接又回切,根据需要配置)。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第45张图片
Proxmox中克隆虚拟服务器
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第46张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第47张图片
Proxmox中迁移虚拟服务器(pve3到pve1)
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第48张图片
配置spice模拟终端登陆(实现可以直接使用终端设置联接操作虚拟机实现云桌面):
配置文件中添加内容:args: -spice port=61001,disable-ticketing,seamless-migration=on
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第49张图片
启动102 虚拟服务器qm start 102(这里通过命令启动的)也可以通过WEB控制台效果一样。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第50张图片
启动后发现多开放了一个端口,配置终端机联接此端口即可联接操作服务器。这里通过VirtViewer软件模拟登陆。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第51张图片
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第52张图片
换台服务器再试(linux):
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第53张图片
同样需要修改配置文件:
root@pve3:~# cat /etc/pve/qemu-server/101.conf
bootdisk: sata2
cores: 1
ide2: none,media=cdrom
memory: 1024
name: Centos6.6
net0: e1000=26:24:01:00:69:7D,bridge=vmbr0
numa: 0
ostype: l26
sata2: ceph:vm-101-disk-0,size=20G
scsihw: virtio-scsi-pci
smbios1: uuid=73100396-3804-4002-815b-4017d81199a9
sockets: 1
vmgenid: bb0d8fc0-a6c7-4283-81f3-6766c4f150a2
args: -spice port=61002,disable-ticketing,seamless-migration=on
保存退出启动虚拟服务器
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第54张图片
联接效果:
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第55张图片
需要说明的是终端联接的是平台服务器IP加上端口,是基于端口的应用,而我们联上服务器后配置的虚拟服务器上网用的IP地址,因此不要混了,即使我们把网卡禁用了通过终端还是能联接的,只是服务器不能上外网络(和其它服务器通信)看下图片中效果,和我们平常开启远程访问是有区别的。
Proxmox【超融合】实现低准入高效构建企业内部私有云平台,让企业轻松步入云时代_第56张图片
cd
功能效果暂时展示到这,其它功能及补充后续文章再完善,好久没写文了,草文堆了一大堆。
参考:https://pve.proxmox.com/pve-docs/chapter-pveceph.html