一、 ISCSI存储

本例测试环境：

DELL R620 E5-2630 v2，128G，250SSD*2，Raid1 三台，安装Proxmox VE 5.X

Synology DS1817+ 双核8G .4千兆口（添加一块10G光纤），2TB*8，Raid1

Synology上已建好Target-1 iqn.2000-01.com.synology:DataCenter001.Target-1fcb817738X

1. 获取查看iSCSItarget

执行命令

iscsiadm -m discovery -t sendtargets –p

root@pve-01:~# iscsiadm -m discovery -t sendtargets -p 10.91.30.224

10.91.30.224:3260,1 iqn.2000-01.com.synology:DataCenter001.Target-1.fcb8177382

2. 登录iSCSI目标

在各节点上分别执行以下操作登录iSCSI目标

a.执行命令iscsiadm -m node -T -p -l登录iSCSI目标：（连接iscsi）

iscsiadm -m node -T iqn.2000-01.com.synology:DataCenter001.Target-1.fcb817738x -p 10.91.30.224 –l

b.为了重启系统能自动登录目标，执行以下命令：(不做此步，重启iscsi无法连接)

iscsiadm -m node -p 10.91.30.224 –op update -n node.startup -v automatic

现在，在该节点上增加了新的磁盘/dev/sdb(本地磁盘只有/dev/sda一个)。

3. 在iSCSI磁盘 /dev/sdb上创建LVM分区、创建物理卷、创建卷组(只在某一个节点进行如下操作即可。)

a.执行磁盘分区命令：

root@pve-01:/#fdisk /dev/sdb

Welcome to fdisk(util-linux 2.25.2).

Changes will remainin memory only, until you decide to write them.

Be careful beforeusing the write command.

Command (m forhelp):g      (建立GPT分区表)

…………

Command (m forhelp):n      (建立一个新的分区，输入分区号、起始结束扇区等)

…………

Command (m forhelp):t      (改变分区类型31)

Selected partition1

Partition type(type L to list all types):31  (分区1的类型改变为Linux LVM)

Command(m for help): w      (写入磁盘并退出fdisk)

b.在分区/dev/sdb1上创建物理卷physical volume (PV)：

pvcreate /dev/sdb1

  c.创建卷组volume group (VG)，VG名为“vg-pve”

vgcreate vg-pve /dev/sdb1

至此，iSCSI共享存储已准备就绪。可供proxmoxVE使用了。

注意：如多网卡同时连接iscsi存储，会出现多路径问题，请一个一个的添加（也可先做网口汇聚）

4. 在proxmox VE的GUI中增加共享存储

　　用鼠标依次选：数据中心－存储－添加－LVM

　　出现添加LVM的对话框：

图4-1-1

依次命名ID(iSCSI-lvm)、选择卷组（刚才创建的卷组vg-pve会出现在下拉菜单中，选择它即可）、节点（选所有）、选启用、选共享，然后点添加。

现在共享存储iSCSI-lvm就会出现在proxmoxVE各节点。共享存储iSCSI-lvm为LVM存储，可将VM的硬盘创建或移动到上面运行以实现HA或经过它热迁移VM。但LVM不支持精简(Thin)磁盘和快照。

二、 NFS存储

本节内容请参考本人另一篇文档《Openfiler2.99.1图文教程-搭创建ISCSI&NFS存储》

三、 Ceph存储

1. 搭建ceph使用本地挂载硬盘为proxmox 提供存储空间

在线安装

luminous 为ceph10.2

hammer 为ceph0.94

每个节点执行

# pveceph install --version luminous

2. 配置ceph网络

在主节点执行（在任意一个节点执行即可，执行一遍）

# pveceph init --network 10.91.30.0/24

3. 创建ceph监视器mon

可以创建多个mon，在3个节点执行创建奇数个mon

# pveceph createmon

查看mon状态

# ceph mon stat

4. 创建OSD

# pveceph createosd /dev/sdb

查看ceph osd 运行状态

# cpeh osd stat

# ceph osd tree

5. 创建存储池

# ceph osd pool create pool1 128 128

6. web登陆

https://IP:8006

结果如图

图4-3-1

图4-3-2

四、 Proxmox VE主机硬盘管理

一、硬盘管理

1查看硬盘

#fdisk -l

例如有/dev/sdb

2 新建一个分区

# sgdisk -N 1 /dev/sdb

3 创建pv

#pvcreate --metadatasize 250k -y -ff /dev/sdb1

4 创建vg

#vgcreate pve1 /dev/sdb1

5 创建lv 这里100g根据自己硬盘大小填写

#lvcreate -L 100g -n data pve1

6 转换为thin-pool

#lvconvert --type thin-pool pve1/data

7 警告：

在某些情况下，LVM不会正确计算元数据池/块大小。请检查metadatapool是否足够大。必须满足的公式是：

PoolSize / ChunkSize * 64b = MetadataPoolSize

你可以通过命令获取这些信息

#lvs -a -o name,size,chunk_size

8 增加到存储 可以在数据中心存储 直接添加lvm-thin id:lvm1, 卷组:pve1, thin pool:data

或者编辑/etc/pve/storage.cfg

lvmthin: lvm1

thinpool data

vgname pve1

content rootdir,images

Creating a Volume Group

Let’s assume we have an empty disk /dev/sdb, onto which we want to create a volume group named “vmdata”.

Caution Please note that the following commands will destroy all existing data on /dev/sdb.

First create a partition.

# sgdisk -N 1 /dev/sdb

Create a Physical Volume (PV) without confirmation and 250K metadatasize.

# pvcreate --metadatasize 250k -y -ff /dev/sdb1

Create a volume group named “vmdata” on /dev/sdb1

# vgcreate vmdata /dev/sdb1

Creating an extra LV for /var/lib/vz

This can be easily done by creating a new thin LV.

# lvcreate -n -V /

A real world example:

# lvcreate -n vz -V 10G pve/data

Now a filesystem must be created on the LV.

# mkfs.ext4 /dev/pve/vz

At last this has to be mounted.

Warning be sure that /var/lib/vz is empty. On a default installation it’s not.

To make it always accessible add the following line in /etc/fstab.

# echo '/dev/pve/vz /var/lib/vz ext4 defaults 0 2' >> /etc/fstab

Resizing the thin pool

Resize the LV and the metadata pool can be achieved with the following command.

# lvresize --size + --poolmetadatasize + /

Note When extending the data pool, the metadata pool must also be extended.

Create a LVM-thin pool

A thin pool has to be created on top of a volume group. How to create a volume group see Section LVM.

# lvcreate -L 80G -T -n vmstore vmdata

二、增加为zfs格式:

创建存储池（type raidz 两块硬盘是raid1，三块硬盘是raid5，还可以用raidz1，2,3等高级用法）

性能对比

Stripe > Mirror

Stripe > RAIDZ1 > RAIDZ2 > RAIDZ3

数据可靠性

Mirror > Stripe

RAIDZ3 > RAIDZ2 > RAIDZ1 > Stripe

zpool create -f -o ashift=12 log cache

对已有pool增加缓存

zpool add -f log cache

更换失败的硬盘

zpool replace -f

pool存储池丢失处理.no pools avaliable

查看存储池状态

#zpool status -v

删除缓存

#rm -f /etc/zfs/zpool.cache

导入存储池

#zpool import zfs-v

如果提示 -f

#zpool import -f zfs-v

如果有设置过缓存或者log,可能会提示 -m

#zpool import -f zfs-v -m

LVM使用缓存

#sda为HDD sdb为SSD

创建物理卷

pvcreate /dev/sda

pvcreate /dev/sdb

创建卷组vg

vgcreate vg /dev/sda

vgextend vg /dev/sdb

创建逻辑卷(data为存储卷，cache为缓存卷,meta为缓冲卷索引,其中cache:meta不能大于1000：1,meta最小为8M)

lvcreate -L 500G -n data /dev/sda

lvcreate -L 220G -n cache /dev/sdb

lvcreate -L 220G -n meta /dev/sdb

创建缓存池(注意cache和meta的顺序不能颠倒)

lvconvert --type cache-pool --poolmetadata vg/meta vg/cache

将存储卷加入到缓存池中（cachemode有writeback和writethrough两种模式，默认为writethrough）

lvconvert --type cache --cachepool vg/cache --cachemode writeback vg/data

注：writeback会在写入cache完成后，再写入date中

writethrough会在写入cache的同时，写入date（写入date慢于cache）