04 ceph+kvm使用iscsi+multipath多路径实现高可用

操作系统：centos7.5_1804 3.10.0-957.5.1.el7.x86_64
前提：ceph集群已创建rbd并已映射

服务端执行：
1.yum -y install targetd targetcli

2.设置开机自启
systemctl start targetd
systemctl enable targetd
systemctl status target

3.执行targetcli

4.cd backstores/block后创建要共享的硬盘或分区
create iscsi1 /dev/rbd0

5. 创建共享项目
   cd /
   cd iscsi 执行 create
   
   
   

6.在项目iqn.xxx下的tgp1 目录下的 acl、luns 和 portals 目录下创建客户端连接名、共享的luns和共享地址及端口
/iscsi/iqn.20…69e/tpg1/luns> create /backstores/block/iscsi1
/iscsi/iqn.20…69e/tpg1/acls> create iqn.2003-01.org.linux-iscsi.ceph37.x8664:sn.b4521408869e
iscsi/iqn.20…/tpg1/portals> delete 0.0.0.0 3260
/iscsi/iqn.20…/tpg1/portals> create 192.168.0.37
/iscsi/iqn.20…/tpg1/portals> create 192.168.3.37 3360

客户端执行：
1.安装iscsi客户端 yum install iscsi-initiator-utils
2.设置开机自启
systemctl restart iscsid
systemctl enable iscsid
3.修改配置文件vi /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2003-01.org.linux-iscsi.ceph37.x8664:sn.1f25d46affce ##项目名称
4.重启客户端
systemctl restart iscsid
5.扫描服务端
iscsiadm -m discovery -t st -p 192.168.0.37
iscsiadm -m discovery -t st -p 192.168.3.37:3360
通过 iscsiadm 管理工具扫描远程iSCSI服务端，然后查看找到的服务端上有哪些可用的共享存储资源。
  -m discovery 参数的目的是扫描并发现可用的存储资源。
  -t st 参数为执行扫描操作的类型，
  -p 192.168.0.37 参数为iSCSI服务端的IP地址

6.客户端登录服务端
iscsiadm -m node -T iqn.2003-01.org.linux-iscsi.ceph37.x8664:sn.b4521408869e -p 192.168.0.37 -l

iscsiadm -m node -T iqn.2003-01.org.linux-iscsi.ceph37.x8664:sn.b4521408869e -p 192.168.3.37:3360 -l

7.验证 lsblk

8.删除共享磁盘
删除/var/lib/iscsi/nodes/和send_targets下内容，重启iscsi服务，重启服务器

客户端的multipath配置
1.安装multipath
yum –y install device-mapper device-mapper-multipath

2.接着通过命令：multipath –ll 查看多路径状态查看模块是否加载成功
multipath –ll 查看多路径状态
Mar 10 19:18:28 | /etc/multipath.conf does not exist, blacklisting alldevices.
Mar 10 19:18:28 | A sample multipath.conf file is located at
Mar 10 19:18:28 |/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf
Mar 10 19:18:28 | You can run /sbin/mpathconf to create or modify/etc/multipath.conf
Mar 10 19:18:28 | DM multipath kernel driver notloaded ----DM模块没有加载

3.如果模块没有加载成功请使用下列命初始化DM,或重启系统
modprobe dm-multipath
modprobe dm-round-robin
systemctl restart multipathd
multipath –v2

4.初始化完了之后再通过multipath -ll命令查看是否加载成功
[root@liujing ~]# multipath -ll
Mar 10 19:21:14 | /etc/multipath.conf does not exist, blacklisting alldevices.
Mar 10 19:21:14 | A sample multipath.conf file is located at
Mar 10 19:21:14 |/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf
Mar 10 19:21:14 | You can run /sbin/mpathconf to create or modify/etc/multipath.conf
DM multipath kernel driver not loaded ----这个提示没了说明DM模块已加载成功。
从上面的提示可以看到，DM模块是成功加载，但是/etc/下没有multipath.conf 配置文件，将/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf复制到/etc下即可

5.配置multipath.conf
前提：target端已配置2条有效路径

multipath.conf文件中需要添加配置3处：blacklist、multipaths、devices
blacklist {
devnode “^sda” ##黑名单，devnode正则以sda开头的不需要给设置multipath
}
multipaths {
multipath {
wwid 36001405530baed5406f45cb9aa48621e ##wwid是磁盘的uid可通过命令multipath -v3获取
alias test ##给这个多路径起的别名
}
multipath {
wwid 360014056e1e9fa9df1f4fc59396df59b
alias iscsi
}
}
devices {
device {
vendor “LIO-ORG” ##可通过命令multipath -v3获取
product “iscsi1” ##可通过命令multipath -v3获取
path_grouping_policy multibus
path_checker readsector0
path_selector “round-robin 0”
hardware_handler “0”
failback immediate
no_path_retry fail
}
device {
vendor “LIO-ORG”
product “iscsi2”
path_grouping_policy multibus
path_checker readsector0
path_selector “round-robin 0”
hardware_handler “0”
failback immediate
no_path_retry fail
}
}
执行multipath -v3查看

6.保存配置文件，重启服务，设置开机自启
systemctl restart multipathd
systemctl enable multipathd

7.重新查看多路径状态
多路径test下两个盘符sdb和sdd；iscsi下sdc和sde

8.查看/dev/mapper
ll /dev/mapper

9.使用fdisk -l查看

10.lsblk查看

11.负载均衡测试，使用100G的磁盘做测试
1）格式化文件系统
mkfs.ext4 /dev/mapper/iscsi
2）挂载
查看磁盘UUID：blkid

编辑文件/etc/fstab，加入一行：
UUID=cce8a1bf-2eb5-4664-a194-9a62a4e2e25f /mnt ext4 _netdev 0 0

3）执行mount -a
4）查看lsblk 成功挂载

3）测试负载均衡
for ((i=1;i<=30;i++));do dd if=/media/CentOS-7-x86_64-Everything-1804.iso of=/mnt/test bs=1024 count=131072 2>&1|grep MB;done;
（循环执行dd命令）
另开一窗口使用命令iostat 2 10 进行查看

可以看到：sdc和sde是两个多路径的盘符，流量均匀的负载在两条路径中

12.测试链路冗余
1）控制台1执行命令for ((i=1;i<=40;i++));do dd if=/media/CentOS-7-x86_64-Everything-1804.iso of=/mnt/test bs=1024 count=131072 2>&1|grep MB;done;
2）控制台2执行iostat 2 50
3）4秒后target端禁用网卡ifdown enp61s0f2
4）观察：1）当禁用一条链路后速度瞬间降到8.9MB/s，几秒钟后恢复
2）当禁用一条链路后IO读写为0，几秒钟后所有流量会直接切换到另一个路径中

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 15.00 0.00 61440.00 0 122880
sdd 0.00 0.00 0.00 0 0
sde 16.50 2.00 65536.00 4 131072
dm-2 0.00 0.00 0.00 0 0
dm-3 31.50 2.00 126976.00 4 253952

avg-cpu: %user %nice %system %iowait %steal %idle
0.10 0.00 0.78 2.10 0.00 97.01

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 9.00 4.00 32768.00 8 65536
sdd 0.00 0.00 0.00 0 0
sde 8.00 0.00 32768.00 0 65536
dm-2 0.00 0.00 0.00 0 0
dm-3 17.00 4.00 65536.00 8 131072

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.02 4.15 0.00 95.83

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 0.00 0.00 0.00 0 0
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.01 0.00 0.02 4.16 0.00 95.81

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 0.00 0.00 0.00 0 0
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.01 0.00 0.02 2.18 0.00 97.79

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 0.00 0.00 0.00 0 0
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.02 2.83 0.00 97.15

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 0.00 0.00 0.00 0 0
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.02 0.00 0.06 3.14 0.00 96.77

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 42.79 1030.85 0.00 2072 0
sdc 0.00 0.00 0.00 0 0
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 42.79 1030.85 0.00 2072 0
dm-3 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.01 0.00 0.03 2.09 0.00 97.87

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 0.00 0.00 0.00 0 0
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 0.00 0.00 0.00 0 0

avg-cpu: %user %nice %system %iowait %steal %idle
0.01 0.00 0.05 2.06 0.00 97.87

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 1.00 0.00 4.00 0 8
dm-0 1.00 0.00 4.00 0 8
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 1.00 0.00 18.00 0 36
sdd 0.00 0.00 0.00 0 0
sde 0.50 0.00 16.00 0 32
dm-2 0.00 0.00 0.00 0 0
dm-3 1.00 0.00 18.00 0 36

avg-cpu: %user %nice %system %iowait %steal %idle
0.07 0.00 0.52 2.78 0.00 96.63

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 17.50 2.00 65546.00 4 131092
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 17.50 2.00 65546.00 4 131092

avg-cpu: %user %nice %system %iowait %steal %idle
0.08 0.00 0.50 1.54 0.00 97.87

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 18.50 2.00 73728.00 4 147456
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 18.50 2.00 73728.00 4 147456

avg-cpu: %user %nice %system %iowait %steal %idle
0.08 0.00 0.50 1.63 0.00 97.79

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 4.00 0.00 30.00 0 60
dm-0 4.00 0.00 30.00 0 60
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 15.00 0.00 57360.00 0 114720
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 15.00 0.00 57360.00 0 114720

avg-cpu: %user %nice %system %iowait %steal %idle
0.06 0.00 0.50 0.38 0.00 99.06

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.00 0.00 0.00 0 0
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
sdb 0.00 0.00 0.00 0 0
sdc 18.50 2.00 73728.00 4 147456
sdd 0.00 0.00 0.00 0 0
sde 0.00 0.00 0.00 0 0
dm-2 0.00 0.00 0.00 0 0
dm-3 18.50 2.00 73728.00 4 147456