给PVE集群配置Ceph存储并更换国内源，并删除订阅弹窗

官方英文视频教程参考官网这个网址：
https://www.proxmox.com/en/training/video-tutorials/item/install-ceph-server-on-proxmox-ve

---

首先检查软件源【重要】

默认是订阅版，如果不做修改，在使用pveceph init进行ceph初始化安装的时候会将整个环境破坏，切记！【PVE版本6.1】

SSH登陆各节点
将/etc/apt/sources.list.d/pve-enterprise.list  文件内的唯一一条记录注释掉：
#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
echo "#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise" > /etc/apt/sources.list.d/pve-enterprise.list
#wget -q -O- 'http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg' | apt-key add -
wget -q -O- 'http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade
国内源：
echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list     #中科大源
echo "deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list     #Proxmox中文社区源
sed -i.bak "s#http://download.proxmox.com/debian/#https://mirrors.ustc.edu.cn/proxmox/debian#g" /etc/apt/sources.list.d/ceph.list     #中科大源
sed -i.bak "s#http://download.proxmox.com/debian#https://download.proxmox.wiki/debian#g" /etc/apt/sources.list.d/ceph.list     #Proxmox中文社区源
sed -i.bak "s#http://download.proxmox.com/debian#https://mirrors.ustc.edu.cn/proxmox/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm     #中科大源
sed -i.bak "s#http://download.proxmox.com/debian#https://download.proxmox.wiki/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm     #Proxmox中文社区源
sed -i.bak "s#ftp.debian.org/debian#mirrors.aliyun.com/debian#g" /etc/apt/sources.list     #阿里Debian源
sed -i "s#security.debian.org#mirrors.aliyun.com/debian-security#g" /etc/apt/sources.list     #阿里Debian源
sed -i.bak "s#ftp.debian.org/debian#mirrors.163.com/debian#g" /etc/apt/sources.list     #163Debian源
sed -i "s#security.debian.org#mirrors.163.com/debian-security#g" /etc/apt/sources.list     #163Debian源

删除订阅通知弹窗
通过SSH连接到Proxmox机器或通过PVE Web界面使用控制台，输入以下命令，然后清除浏览器缓存：

echo 'sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js' >> /etc/rc.local && echo 'sed -i.bak "s#Proxmox.Utils.checked_command(function() {}#//Proxmox.Utils.checked_command(function() {}#g" /usr/share/pve-manager/js/pvemanagerlib.js && systemctl restart pveproxy.service' >> /etc/rc.local && echo 'systemctl restart pveproxy.service' >> /etc/rc.local && chmod +x /etc/rc.local 
sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && sed -i.bak "s#Proxmox.Utils.checked_command(function() {}#//Proxmox.Utils.checked_command(function() {}#g" /usr/share/pve-manager/js/pvemanagerlib.js && systemctl restart pveproxy.service

安装ntp，ceph集群对时间同步的要求很高。需要安装ntp服务： apt-get install ntp -y安装完成之后会自动启动并同步debian的时间服务器，注意，是联网的情况下，如果不连接外网，需要设定内网的ntp服务。

1、安装Ceph组件

每个节点都开始打开安装步骤

输入Y回车确定安装

输入节点的存储网络地址

翻车了

提示我ceph没有安装。【后来发现是国内网络问题反复安装几次后成功了】
我们手动安装一下luminous版本试一下，通过SSH登陆服务器：

   1、首先在**每一个节点**安装ceph软件包：
      pveceph install --version luminous  
   2、初始化ceph存储网络：
      pveceph init --network 192.168.30.0/24
   3、创建mon
      pveceph createmon

2、创建MON

在pve2和pve3上面登录web界面创建mon：

3、创建OSD

将sdb磁盘加入到OSD，对pve2和pve3做同样的操作，完成后如下：

4、创建Pools

Pool的名称是Ceph-vm，根据自己需要取，size=2表示正常的副本数，min size=1表示最少的数据副本数，pg_num=128表示逻辑存储单元数未128，具体设置的策略请参考ceph相关文档。

5、创建RBD存储池

ID可以自定义。