iSCSI协议简介

本文综合了几篇参考文献的内容,做了删减与重组,但严格来说,不算原创。

笔者笔记如下:

iSCSI initiator和target的核心功能都在内核中,无须人工干预;而要人工干预的大约是这么几件事: 

1. 建立iSCSI Initiator到iSCSI target的session(虽也可自动发现,但还是要有些配置)

2. 建立LUN,以便位于Initiator端的系统进行块设备的挂载

3. 将来不需要的时候,可删除1和2中建立的LUN和iSCSI连接

至于应用程序将读写块设备,大致路径是:应用程序 -> 系统调用 -> 文件系统 -> 内核 -> iSCSI相应模块(initiator or target) -> 网络协议栈 -> 对端

 

1. SCSI协议

SCSI: Small Computer System Interface,SCSI最初是一种专门为小型计算机系统设计的I/O技术,但由于其架构和协议自身的优点,后被广泛应用于实现DAS以及作为SAN的底层技术。

所有的SCSI设备是通过一根总线将其连接起来,这个线就叫做SCSI总线。SCSI总线是SCSI设备之间传输数据的通路。SCSI总线又被称作SCSI通道。SCSI总线最终会连接到SCSI控制器上,SCSI控制器也称为主机适配器(HBA),它控制着SCSI总线上所有的设备与计算器之间的通信。控制器既可以是插入可用插槽的卡,也可以内置在主板上。

(注:SCSI连线长度一般不超过25米,挂载的总设备数不超过16个(除去SCSI控制器,就是15个))

因此,SCSI控制器和SCSI设备的连接方式如下图所示:

iSCSI协议简介_第1张图片

在SCSI总线末端上有一个终结器,用来减小相互影响的信号,维持SCSI链上的电压恒定。

 

1.1 SCSI基本概念介绍

SCSI ID

一个独立的SCSI总线按照规格不同可以支持8或16个SCSI目标设备(可以称为Target),每个SCSI目标设备都必须具有唯一的标识符(ID)才能正常工作。SCSI ID实际上就是这些目标设备的地址。

窄SCSI总线最多允许8个、宽SCSI总线最多允许16个不同的SCSI目标设备和它进行连接。但是一般SCSI控制器需要使用一个ID,因此,能使用的ID理论比实际要少一个。

LUN

在每一个SCSI目标设备(Target)下还可以连接多个逻辑设备(如磁盘,卷组等等),为了让系统区分每一个逻辑设备,因此每一个逻辑设备都有一个LUN(Logical  Unit Number)来标识自己。每个SCSI ID最多有32个LUN,默认从0开始(不过0被占用了),每一个LUN对应着一个逻辑设备。

SCSI通信模型

SCSI是一个C/S架构,其中client端叫做initiator(启动器),服务器端叫做target(目标设备)。SCSI协议采用了分层的思想,SCSI协议簇从上向下可以分为四层:设备特定命令集,共享命令集,传输协议,互联网层。并且SCSI的数据传输是以块的方式进行的。

CDB (命令描述块)

SCSI的命令以及参数是填充在一定长度的数据块内传输的。这个数据块就是命令描述块,即CDB. 

iSCSI协议简介_第2张图片

典型的SCSI系统

iSCSI协议简介_第3张图片

 

2. iSCSI协议

虽然SCSI控制器可以连接多个存储设备,形成自己的网络,但是它只能与直接相连的存储设备进行通信,只能在在局域网内部使用,不能再以太网上共享。因此,对于SCSI协议来说,传输数据的距离是非常有限的。因此,人们为了利用SCSI协议长距离的传输数据,于是就研发了一种新的技术,就是iSCSI协议。另有一个重要的原因是,基于Fiber Channel的FC-SAN比较昂贵,而基于iSCSI的IP-SAN就便宜很多。
iSCSI协议是一种新的存储技术,它是将SCSI接口与以太网(Ethernet)技术结合起来工作的,简单的说iSCSI协议是将用户的请求转换成SCSI规则编码,然后再将这些数据封装在IP包中以便在以太网中进行传输的协议。

iSCSI协议简介_第4张图片

 

2.1 iSCSI协议的功能

iSCSI:internet Small Computer System  Interface的缩写,即Internet小型计算机接口。iSCSI技术是一种由IBM公司研究开发的,是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行 SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。它是基于TCP/IP协议的,用来建立和管理IP存储设备、主机和客户机之间的相互连接,并创建SAN。这样使得SAN利用SCSI协议应用在高速数据传输网络成为可能。这种传输是以块级别的方式在各个存储设备上进行的。

2.2 iSCSI的结构

由于SCSI协议是一个C/S架构,因此iSCSI协议也是一个C/S结构,其中client是initiator,server端为target。iSCSI协议的主要功能是利用TCP/IP网络,在主机系统(可称为initiator)和目标存储设备(称为target)之间进行大量的数据封装和可靠传输过程。此外,iSCSI协议还将SCSI协议封装在IP网络上,并且运行在TCP上。
因此,ISCSI协议的协议栈为下图所示:

iSCSI协议简介_第5张图片

 

2.3 iSCSI协议的工作原理

当iSCSI主机发起数据读写操作后,操作系统会生成一个SCSI指令集,然后该SCSI指令集在iSCSI initiator端被封装成iSCSI消息包,并通过TCP/IP网络传输到存储区域,当存储区域的iSCSI target收到iSCSI消息包时会将其解开,读取其中的SCSI指令,然后再将其SCSI指令传送给SCSI设备执行其指令。当SCSI指令被执行后,返回的数据经过SCSI设备传送给iSCSI target时被封装为iSCSI的响应PDU,然后再通过TCP/IP网络传输给iSCSI initiator端,iSCSI initiator解开其iSCSI PDU包,读取其中的SCSI响应内容,并将其提交给操作系统进行处理,然后操作系统在将其处理后的内容返回给应用程序。

iSCSI协议简介_第6张图片

 

2.4 iSCSI的优点

iSCSI最大的优点就是节约成本,利用iSCSI协议构建一个存储网络,除了需要存储设备,交换机、线缆还有以太网接口以外,基本就不需要其他的设备了,只需要在现有的网络上安装iSCSI就可以实现构建一个比较大的存储网络了。

 

2.5 iSCSI基本概念

iSCSI客户端 (iSCSI Initiator)

iSCSI客户端为iSCSI initiator,这是I/O操作的发起者。在RedHat Linux系统中可以通过软件来模拟,需要安装iSCSI设备驱动。如iscsi-initiator-utils.rpm
iSCSI  initiator具有的特性:
a) 既然是I/O操作的发起者,需要通过发现过程请求远端快设备。
b) 它可以与target进行持久连接
c) Linux中可以通过软件方式来实现

iSCSI服务器端 (iSCSI Target)

iSCSI服务器端为iSCSI target,这是I/O操作的执行者。在RedHat Enterprise Linux中可以使用scsi-target-utils软件包来模拟实现。
iSCSI target端具有的特性:
a) 需要导出一个或多个块设备供启动者(initiator)使用
b) 可以通过硬件和软件的方式来实现

iSCSI target设备名称

iSCSI target名称必须是全球唯一的,其格式为:

iqn..[:]

# iqn:iSCSI target名称必须是以iqn开头的
# yyyy-mm:表示的是时间
# tld.domain.some.host:这个表示的是一个反过来写的域名
# identifier:这个可以是任意字符串
# 如:iqn.2015-03.com.xsl.www:storge.disk1

逻辑单元号LUN

LUN ID由iSCSI目标设备(Target)分配。iSCSI 启动端(Initiator)设备当前支持在每个目标设备(Target)中导出最多256个LUN。即最大支持16个target。
对于LUN,比较通俗的理解就是磁盘分区、LVM卷组、RAID等等。

Target 即“储存设备”(Storage Device),也就是存放数据的硬盘(以硬盘阵列居多)。在使用iSCSI时,会在 iSCSI 储存设备上去建立 LUN(Logical Unit Number)来提供给具备 iSCSI Initiator 功能的主机来存取 数据的。LUN 好比是个“逻辑单位磁碟”,物理上通常是由数个实体磁碟( RAID 或 LVM 技术的技术实现)所组成。


2.6 iSCSI的发现机制

iSCSI发起端为了和iSCSI目标端建立iSCSI会话,initiator需要知道target的 IP地址,TCP端口号和名字 三个信息。iSCSI发现的目的是为了让iSCSI发起端获取一条到iSCSI目标端的通路。iSCSI有三种发现机制:

a. 静态配置

在iSCSI发起端已经知道iSCSI目标端的IP地址TCP端口号和名字信息时,iSCSI发起端不需要执行发现。iSCSI发起端直接通过IP地址和TCP端口来建立TCP连接,使用iSCSI目标端的名字来建立iSCSI会话。这种发现机制比较适合比较小的iSCSI体系结构

b. SendTarget发现

在iSCSI发起端知道iSCSI目标端的IP地址和TCP端口的情况下,iSCSI使用IP地址和TCP端口号建立TCP连接后建立发现对话。iSCSI发起端发送SendTarget命令查询网络中的存在的iSCSI信息。这种方法主要用于网关设备,iSCSI发起端被静态配置连接到指定的iSCSI设备。iSCSI发起端和iSCSI网关设备建立对话并发送SendTarget请求给iSCSI网关设备。iSCSI网关设备返回一系列和它相连的ISCSI目标端的信息。iSCSI发起端选择一个目标端来建立对话。

c. 零配置发现

这种机制用于iSCSI发送设备完全不知道iSCSI目标端的信息的情况下。iSCSI发起端利用现有的IP网络协议SLP(Service Location Protocol for Discovery,服务定位协议)。iSCSI目标端使用SLP来注册,iSCSI发起端可以通过查询SLP代理来获得注册的iSCSI目标端的信息。当iSCSI目标端加入到网络中的时候,拓扑结构也随之改变。虽然这种方法增加了实现的复杂性,但它不需要重新配置发起端即可找到新的目标端。

 

2.7 iSCSI设备具有的特性

  1. 支持报头和数据摘要
  2. 支持两种挑战握手协议CHAP(ChallengeHandshake  Authentication Protocol)的认证方式
  3. 目标端支持R2T(ReadytoTransfer)流控制
  4. 从RHEL4U2开始支持多通道(multipath
  5. 支持sendtargets发现机制
  6. 支持动态目标端发现
  7. 具备异步事件通知入口
  8. 支持即时数据更新
  9. 支持动态设备重配
  10. 支持自动挂接iSCSI技术
  11. 支持IPV6技术

2.8 iSCSI设备名称

iSCSI设备在iSCSI启动端(Initiator)导入的时候,其内核将按当前的设备情况给iSCSI设备分配一个本地SCSI设备名(例如/dev/sda或/dev/sdb等),如果导入的iSCSI设备已被分区,在导入iSCSI设备建立本地SCSI设备的同时也会建立相应的分区设备名(例如/dev/sda1、/dev/sda5等等),但是此SCSI设备名并不是每次导入是都是固定的,比如你的主机之前没有/dev/sda设备,你导入了iSCSI设备,其被内核命名为/dev/sda;之后你将其取消了导入,并重新挂接了一个热插拔设备(如U盘或移动硬盘),这个热插拔设备占据的/dev/sda设备;你又重新导入了iSCSI设备,此时其被内核分配的设备名就成了 /dev/sdb。

 

3. tgtadm的使用

tgtadm是一个服务器端管理配置工具,它也是一个模式化的命令,其常见的模式有target、logicalunit、account


3.1 target模式

tgtadm  --lld    --mode  target  --op  {new|delete|show|update|bind|unbind} [option]

其中,driver一般为iscsi, --op后面的参数表示要进行的操作:

  • new: 增加一个target,语法格式为:--tid --targetname
  • delete:删除一个target,语法格式为:delete --tid
  • show:显示所有的target,后面可以接某个target的id,只显示某个target的信息。格式为:show [--tid ]
  • update:修改某个特定的target的参数。格式为:update --tid --name --value
  • bind:将某个特定的initiator和target绑定在一起,表示只接受特定的initiator的请求。语法格式为: bind --tid --initiator-address
  • unbind:解绑。语法格式为:unbind --tid --initiator-address 

 

3.2 logicalunit模式

tgtadm --lld     --mode   logicalunit  --op  {new|delete}  [option]

其中,driver一般为iscsi,--op后面的参数表示要进行的操作: 

  • new: 新建一个LUN,语法格式为:new --tid --lun   --backing-store --bstype --bsoflags 
  • delete: 删除一个LUN,语法格式为:delete --tid --lun

 

3.3 account模式

tgtadm --lld     --mode   account  --op  {new|delete|bind|unbind}  [option]

其中,driver一般为iscsi,--op后面的参数表示要进行的操作:

  • new: 新建一个账号和密码,格式为:new --user --password
  • delete: 删除某个已有的账号,格式为:delete --user
  • bind:在某个特定的target上添加账号,格式为:bind --tid --user [--outgoing],如果使用了--outgoing选项,将被添加作为出去的账号来使用。
  • unbind:在某个特定的target上删除某个账号。其格式为:account --op unbind --tid --user

 

在tgtadm命令中,某些长选项可以使用短选项来代理,如:

 --lld=-L
 --tid=-t
 --lun=-l
 --backing-store=-b
 --initiator-address=-I
 --targetname =-T

 

4. iscsiadm的使用

iscsiadm是一个客户端的管理工具,它也是一个模式化的工具,其模式可通过-m或--mode选项指定,常见的模式有discovery、node、fw、session、host、iface几个。这些模式的主要功能如下:

  • discovery: 用于发现某服务器是否有target输出,以及输出了哪些target
  • node: 管理跟某target的关联关系
  • session:用于显示所有的活动会话和连接
  • fw:显示所有的启动固件值
  • host:显示所有的iSCSI主机
  • iface:显示/var/lib/iscsi/ifaces目录中的所有ifaces设定

4.1 discovery模式

iscsiadm -m discovery  [ -d debug_level ]  [ -I iface -t type -p  ip:port  [-l ] ] 

discovery模式下可用选项:

  • -d, --debug   显示debug信息,级别为0-8;
  • -l, --login   表示登录target的意思
  • -t, --type 这里可以使用的类型为sendtargets(可简写为st)、slp、fw和 isns,此选项仅用于discovery模式,且目前仅支持st、fw和isns;其中st表示允许每个iSCSI target发送一个可用target列表给initiator;
  • -p, --portal  指定target服务的IP和端口;
  • -m, --mode   可用的mode有discovery, node, fw, host iface 和 session

4.2 node模式

iscsiadm -m node [ -d debug_level ] [ -L all,manual,automatic ] [ -U all,manual,automatic ] [ [ -T targetname -p ip:port -I iface ] [ -l | -u | -R | -s] ] [ [ -o operation ] 

node模式下可用选项:

  • -L ,--loginall  表示登录到所有发现的target设备上。all表示登录到所有的target设备上;manual表示手动登录;automatic表示自动登录。
  • -T, --targetname  用于指定target的名字
  • -u, --logout   从target设备上登出
  • -s, --stats   显示session统计信息
  • -o, --op:指定针对discoverydb数据库的操作,其仅能为new、delete、update、show和nonpersistent其中之一;
  • -I, --interface:指定执行操作的iSCSI接口,这些接口定义在/var/lib/iscsi/ifaces中;

4.3 session模式

iscsiadm -m session  -s  # 显示会话的相关信息

4.4 客户端配置文件/etc/iscsi/iscsid.conf 

这个文件中的主要参数有如下:

  • node.startup   设置启动方式,可选的参数有auotmatic 和manual
  • node.session.auth.authmethod 设置使用CHAP认证方式,默认为NONE
  • node.session.auth.username target端认证所需initiator提供的用户
  • node.session.auth.password target端认证所需initiator提供的密码
  • node.session.auth.username_in initiator端认证所需target提供的用户
  • node.session.auth.password_in initiator端认证所需target提供的密码
  • discovery.sendtargets.auth.authmethod 设置使用CHAP认证方式用以发现target端导出的设备,默认为NONE
  • discovery.sendtargets.auth.username 发现操作时target端认证所需initiator提供的用户
  • discovery.sendtargets.auth.passwd 发现操作时target端认证所需initiator提供的密码
  • discovery.sendtargets.auth.username_in 发现操作时initiator端认证所需target提供的用户
  • discovery.sendtargets.auth.password_in 发现操作时initiator端认证所需target提供的密码

4.5 客户端的认证方式

客户端的认证方式有2种:一种是基于ip认证的;另一种是基于用户认证的,使用的认证协议为CHAP。同时iscsi-initiator-utils不支持discovery的认证。对于用户认证而言,必须先配置基于ip认证,然后才可以配置基于用户认证。

 

参考文献:

http://blog.51cto.com/xslwahaha/1617781

https://blog.csdn.net/qq776306395/article/details/27490977

https://wenku.baidu.com/view/5aa43ef6f705cc175527097b.html

 

你可能感兴趣的:(存储,存储)