iSCSI网关集成了Ceph存储和iSCSI标准,以提供一个高可用性(HA) iSCSI目标,该目标将RADOS块设备(RBD)映像导出为SCSI磁盘。iSCSI协议允许客户机 (initiator) 通过TCP/IP网络向SCSI存储设备( targets )发送SCSI命令。这允许异构客户机访问Ceph存储集群。
每个iSCSI网关运行Linux IO目标内核子系统(LIO),以提供iSCSI协议支持。LIO利用用户空间通过( TCMU ) 与Ceph的librbd库交互,并向iSCSI客户机暴露RBD镜像。使用Ceph的iSCSI网关,可以有效地运行一个完全集成的块存储基础设施,它具有传统存储区域网络(SAN)的所有特性和优点。
ceph-iscsi 兼具 RADOS 块设备的优势与 iSCSI 无所不包的多样性。在 iSCSI 目标主机(称为 lrbd 网关)上采用 lrbd 后,需要利用块储存的任何应用程序都可受益于 Ceph,即使不运行 Ceph 客户端协议也是如此。而用户可以使用 iSCSI 或任何其他目标前端协议连接到 LIO 目标,从而可以转换目标对 RBD 储存发起的所有 I/O 操作。
- 单个 ISCSI 网关的 CEPH 群集
ceph-iscsi 具有高可用性,并支持多路径操作。因此,下游发起程序主机可以使用多个 iSCSI网关实现高可用性和可伸缩性。与包含多个网关的 iSCSI 配置通讯时,发起程序可在多个网关之间实现 iSCSI 请求的负载平衡。如果某个网关发生故障(暂时不可访问,或因为维护已被禁用),将通过另一个网关以透明方式继续处理 I/O。
- 多个 ISCSI 网关的 CEPH 群集
RBD 作为 VMware ESXI datastore 是否支持?
(1)目前来说,RBD是不支持datastore形式。
(2)iSCSI 是支持 datastore 这种方式,可以作为VMware Esxi 虚拟机提供存储功能,性价比非常不错的选择。
# gwcli ls o- / ............................................................................. [...] o- cluster ............................................................. [Clusters: 1] | o- ceph ................................................................ [HEALTH_OK] | o- pools .............................................................. [Pools: 1] | | o- iscsi-images ............... [(x3), Commit: 0.00Y/15719936K (0%), Used: 576K] | o- topology .................................................... [OSDs: 6,MONs: 3] o- disks ........................................................... [0.00Y, Disks: 0] o- iscsi-targets ................................... [DiscoveryAuth: None, Targets: 0]
# vim /etc/multipath.conf defaults { user_friendly_names yes } devices { device { vendor "(LIO-ORG|SUSE)" product "RBD" path_grouping_policy "multibus" # 所有有效路径在一个优先组群中 path_checker "tur" # 在设备中执行 TEST UNIT READY 命令。 features "0" hardware_handler "1 alua" # 在切换路径组群或者处理I/O错误时用来执行硬件具体动作的模块。 prio "alua" failback "immediate" rr_weight "uniform" # 所有路径都有相同的加权 no_path_retry 12 # 路径故障后,重试12次,每次5秒 rr_min_io 100 # 指定切换到当前路径组的下一个路径前路由到该路径的I/O请求数。 } }
> esxcli iscsi adapter list > Adapter Driver State UID Description > ------- --------- ------ ------------- ---------------------- > vmhba64 iscsi_vmk online iscsi.vmhba64 iSCSI Software Adapter