linux iscsi 实用

1、概述

ISCSI （ internel small system computer interface）：是基于TCP/IP网络 的存储技术，它利用TCP/IP网络来存储scsi命令，本身因为TCP/IP的特性，因此会架构便宜(IP 网络设备价格远比存储网络的价格要低)，可以从LAN扩展到WAN上面

IP-SAN是作为存储区域网络的一种便宜的方案，但通常我们建议是将IP-SAN 建立在一个单独隔离的网络上，而不是和平常的业务网络一起用（存储网络与业务网络分离）

iscsi协议本身不加密，只是在发起连接的时候有CHAP认证(包括单向认证和双向认证)，在互联网上传送并不安全，因此较少用在互联网上，通常是作为一个单独的存储网络使用，另外也可以使用LUKS linux unified key setup磁盘加密，这样保证数据在传送过程中加密，但协议本身是没有保护的，也可以让ipsec协议保护，因为ipsec本身有认证和加密的功能

Iscsi使用TCP协议、默认使用3260端口

冗余：

可以用网卡绑定或者多径来保证存储访问的高可用性

注意：bonding只是保证网卡到它连接的设备（通常是交换机）的高可用，但是多径技术 （multi-path）是保证端到端的冗余，因此多径技术更高级。

iscsi相对于NFS 或者DAS HDD的好处在于：

１、对于DAS而言，服务器坏了，硬盘没坏，也不能访问了

　　　　　iscsi磁盘还是可以让其他客户端访问的

2、NFS而言，扩容不容易

   iscsi target 可以1个，2个，3个，直接扩容，创建物理卷，将物理卷加入现存卷组，扩容逻辑卷，创建文件系统，加挂，但nfs有难度

3、要求网络存储，提供给多台主机同时访问，如集群环境 

iscsi协议

理解ISCSI协议重点是理解封装的概念，SCSI命令通过 iscis协议封装后在TCP／IP网络上传送，因此需要CPU资源来处理报文头的封装与解封装（也有专用的iscsiHBA卡，不过价格较贵罢了）

iSCSI术语

IQN（iSCSI Qualified Name）用来识别iSCSI通信的服务端和客户端，格式是

iqn.yyyy-mm.com.reverse.domain:optional-extra-name

如主机名为instructor.example.com。第一个分享的LV空间可以是iqn.2013-10.com.example.instructor:lv1-my-first-lv

可选部分（含前面的冒号）加上可以用于区分多个分享的设备，如有多个lv要分享的时候

target :iSCSI服务端叫target,target 分享LUN，logical unit ,一台服务器可以分享一个或者多个LUN 

initiator:iSCSI客户端叫initiator,可以由软硬件实现，通常软件实现的较多（省钱）

node: iSCSI服务端,iSCSI客户端都叫node

Portal :在iSCSI中,Portal是一个target或者initiator的IP，用于建立连接

iSNS:  internet storage name service ,一个命名服务，用来让initiator发现target，较少使用

2、安装包

     scsi-target-utils

     iscsi-initiator-utils 

    

    scsi-target-utils包中的主要配置文件以及命令：

                /etc/tgt/target.conf ： 主要配置文件 

                /usr/sbin/tgt-admin ： 在线查询、删除target等功能的命令 

     /usr/sbin/tgtd ： 主要提供iscsi target服务的主程序 

    iscsi-initiator-utils中的主要配置文件以及命令： 

          /etc/iscsi/iscsid.conf ： 主要配置文件 

/sbin/iscsid ： 启动iscsi initiator的主要服务程序 

/sbin/iscsiadm ： 管理iscsi initiator的管理程序 

/etc/intit.d/iscsid ： 主要服务进程 

/etc/init.d/iscsi ： 启动该脚本，可以使发现过的iscsi target配置生效，一般直接使用该脚本即可，initiator未执行的话，会调用/etc/init.d/iscsid启动initiator。 

    Target可做磁盘分享给Initiator使用的方式：

        (1)大型文件(dd命令生成)(2) 磁盘阵列、磁盘或者磁盘分区等真实磁盘(3)使用LVM中的逻辑卷LV 

3、tgtadm命令详解

[root@ser ~]# tgtadm -h 

Usage: tgtadm [OPTION]

Linux SCSI Target Framework Administration Utility, version 1.0.24

--lld <driver>  --mode（模式） target  --op（操作） new --tid <id> --targetname <name>      注：tid不能为0，0默认保留给本机

--lld <driver> --mode target --op delete [--force] --tid <id>            

--lld <driver> --mode target --op show

--lld <driver> --mode target --op show --tid <id>

--lld <driver> --mode target --op update --tid <id> --name <param> --value <value>     //更改目标参数

--lld <driver> --mode target --op  bind（绑定） --tid <id> --initiator-address <address>

--lld <driver> --mode target --op bind --tid <id>  --initiator-name <name>

--lld <driver> --mode target --op  unbind（解除绑定） --tid <id> --initiator-address <address>

--lld <driver> --mode target --op unbind --tid <id> --initiator-name <name>

--lld <driver> --mode  logicalunit（逻辑磁盘块） --op new --tid <id> --lun <lun> \

                        --backing-store <path> --bstype <type> --bsoflags <options>

--lld <driver> --mode  logicalunit（逻辑单元） --op delete  --tid（tid号） <id>  --lun（逻辑单元） <lun>

--lld <driver> --mode  account（账户） --op new --user <name> --password <pass>

--lld <driver> --mode account --op delete --user <name>

--lld <driver> --mode account --op bind --tid <id> --user <name> [--outgoing]

--lld <driver> --mode account --op unbind --tid <id> --user <name>

--control-port <port> use control port <port>

--help display this help and exit

tgtadm模式化命令：

    --mode

        常用模式：target、logicalunit、account

                target --op 

                            new 、delete、show、update、bind、unbind

                logicalunit  --op        //逻辑单元块（可以是一个卷、一个磁盘、一个RAID、一个LVM），一定要在target的基础上创建lun，并为lun分配一个单元号

                            new 、delete

                account   --op            //帐号绑定

                            new、delete、bind、unbind

    --lld        //设备块地址

    --tid        //指定tid号，target的编号。不可为0，0保留给当前主机使用的。

    --lun        //指定逻辑单元号    

    --backing-store    //指定后端存储

    --user        //指定用户名

    --password    //指定密码

targetname（target命名）：

    iqn.yyyy-mm.<reversed  domain  name>[:identifier]   

    例如：iqn.2014-12.com.wgmml:t

    t：是描述，可以是硬盘所在机房机柜位置。注以时间后域名段要反写。如上

例：

服务端：

    # tgtadm --lld iscsi --mode target --op new --targetname iqn.2014.12.com.ser:dosk1 --tid 1

        //新建一个target，target名为iqn.2014.12.com.ser:dosk1 ，tid为1

    # tgtadm --lld iscsi --mode target --op show     //查看当前主机target

     注：一个target上最多有32个lun

    # tgtadm --lld iscsi --mode logicalunit --op new --tid 1 --lun 1 --backing-store /dev/sdb

        //在tid为1的target上创建新lun并连接存储设备（sdb为新加的硬盘）

    # tgtadm --lld iscsi --mode target --op bind --tid 1 --initiator-address 10.1.1.0/24

        //绑定10.1.1.0/24网段可访问tid为1的target

客户端：

    # iscsi-iname        //显示initatorname

        iqn.1994-05.com.redhat:c42a4a9748db

    # iscsi-iname -p iqn.1994-05.com.wgmml  //命令更改initator端名

        iqn.1994-05.com.wgmml:35536bb7a6

    #vim  /etc/iscsi/initiatorname.iscsi        //保存initator名的文件，也可以在此文件创建别名

    # echo "InitiatorName=`iscsi-iname -p iqn.2014.12.com.wgmml`" > /etc/iscsi/initiatorname.iscsi 

    //iscsi-iname -p修改后的InitiatorName永久保存到initiatorname.iscsi 文件

    # iscsiadm -h

iscsiadm -m discoverydb [ -hV ] [ -d debug_level ] [-P printlevel] [ -t type -p ip:port -I ifaceN ... [ -Dl ] ] | [ [ -p ip:port -t type] [ -o operation ] [ -n name ] [ -v value ] [ -lD ] ]

iscsiadm -m discovery [ -hV ] [ -d debug_level ] [-P printlevel] [ -t type - p ip:port -I ifaceN ... [ -l ] ] | [ [ -p ip:port ] [ -l | -D ] ]

iscsiadm -m node [ -hV ] [ -d debug_level ] [ -P printlevel ] [ -L all,manual,automatic ] [ -U all,manual,automatic ] [ -S ] [ [ -T targetname -p ip:port -I ifaceN ] [ -l | -u | -R | -s] ] [ [ -o operation ] [ -n name ] [ -v value ] ]

iscsiadm -m session [ -hV ] [ -d debug_level ] [ -P printlevel] [ -r sessionid | sysfsdir [ -R | -u | -s ] [ -o operation ] [ -n name ] [ -v value ] ]

iscsiadm -m iface [ -hV ] [ -d debug_level ] [ -P printlevel ] [ -I ifacename | -H hostno|MAC ] [ [ -o operation ] [ -n name ] [ -v value ] ] [ -C ping [ -a ip ] [ -b packetsize ] [ -c count ] [ -i interval ] ]

iscsiadm -m fw [ -l ]

iscsiadm -m host [ -P printlevel ] [ -H hostno|MAC ] [ -C chap [ -o operation ] [ -v chap_tbl_idx ] ]

iscsiadm -k priority

iscsiadm模式化命令

    -m 

    常用模式：discovery|node|session|iface

            discovery：发现某服务器是否有target输入，以及输出哪些target；

            node：管理跟某target的关联关系，建立关联、断开关联。。。

            session：会话管理

            iface：端口管理

例：

    # iscsiadm -m discovery -d 2 -t st -p 10.1.1.2

        10.1.1.2:3260,1 iqn.2014.12.com.wgmml:disk1

    //查看10.1.1.2主机共享的target及端口，发现完后会在/var/lib/iscsi/send_targets/下显示记录，不想使用是需要删除。

    # iscsiadm -m node -T iqn.2014.12.com.wgmml:disk1 -p 10.1.1.2 -l

    //挂载登录 10.1.1.2target服务器 iqn.2014.12.com.wgmml:disk1磁盘

    

    

4、实例一：target端共享一个10G的硬盘块，硬盘路径为/dev/sdb，target端ip：10.1.1.2   Initiator端ip：10.1.1.3

   Target端：

        [root@ser ~]# yum install scsi-target-utils         //YUM安装scsi target端

        [root@ser ~]# service tgtd start        //启动服务

        [root@ser ~]# netstat -na |grep 3260         //查看是否启动

                             tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN                             tcp 0 0 :::3260 :::* LISTEN

        [root@ser ~]# tgtadm  --lld  iscsi  --mode  target  --op  new  --targetname   iqn.2014.12.disk1  --tid  1        //创建一个新的target，命名为 iqn.2014.12.disk1 ，target的tid为1

        [root@ser ~]# tgtadm --lld iscsi --mode target --op show        //查看本机的target基本信息，包括target名及target下Lun信息、磁盘大小等信息

        [root@ser ~]# tgtadm --lld iscsi --mode logicalunit --op new --tid 1 --lun 1  --backing-store  /dev/sdb        //在tid为1的target下创建新lun并连接logicalunit  

        [root@ser ~]# tgtadm --lld iscsi --mode target --op show        //查看新lun是否添加成功

        [root@ser ~]# tgtadm --lld iscsi --mode target --op bind --tid 1 -I ALL        //target设置访问权限允许任意访问

        [root@ser ~]# tgtadm --lld iscsi --mode target --op unbind --tid 1 -I ALL        //任意访问不安全，删除任意访问权限

        注：为target分配任意存储设备后，需要设置访问权限控制后才可以使用。

        [root@ser ~]# tgtadm --lld  iscsi --mode target --op bind --tid 1 -I  10.1.1.0/24        //设置指定网段可访问

        注： 访问控制列表可使用“tgtadm --lld iscsi --mode target --op show”下的“ACL information”查看

    Initiator端：

    Linux：

        [root@initiator ~]# yum install iscsi-initiator-utils        //安装initiator端

        [root@initiator ~]# iscsiadm -m discovery -t sendtargets -p 10.1.1.2         //发现网络中可用的target

                Starting iscsid: [ OK ] 
                10.1.1.2:3260,1 iqn.2014.12.disk1

        [root@initiator ~]# iscsiadm -m node -T iqn.2014.12.disk1 -p 10.1.1.2 -l         //登录可用target会话
                Logging in to [iface: default, target: iqn.2014.12.disk1, portal: 10.1.1.2,3260] (multiple) 
                Login to [iface: default, target: iqn.2014.12.disk1, portal: 10.1.1.2,3260] successful.

        [root@initiator ~]# fdisk -l        //查看是否多了一个10G的磁盘

        

    windows：

                运行iSCSi发起程序

                

                在目标里填写Target的地址并点击快速连接（需等待一段时间加载驱动）
                

                磁盘管理中查看是否连接成功

                

实验二：开机自动创建

    Target端：

    # vim /etc/tgt/targets.conf

        <target  iqn.2014.12.com.wgmml.target1>        //targetname名

            backing-store  /dev/sdb        //target共享的磁盘

            initiator-address 10.1.1.2/24        //有访问控制权限的网段

        </target>

实例三：iscsi chap身份验证

　　iscsi除了指定IP做ACL，还可以透过user/password (CHAP-Challenge Handshake Authentication Protocol（使用MD5的加密验证) ）来做身分验证。

　　1.   iscsi CHAP验证种类

　　1.1 单向CHAP验证:在此安全性等级,只有目标Target会做验证

　　1.2 相互( Mutual ) CHAP验证:在此安全性等级,目标Target与启动器Initiator皆会被彼此做验证.

　　1.3 Reverse CHAP验证:一般的CHAP使用one-way hash,密码档无法回朔,但是使用Reverse CHAP是可以的 

　　2.   iscsi单向CHAP验证

　　预设iSCSI 采用了单向CHAP(Challenge Handshake Authentication Protocol) 的身分验证方式,基本上是一种以MD5 的加密验证方式.方式如下:

　　2.1. 在双方(Target/Initiator) 建立连线后,Target 送出"challenge" 的讯息告知Initiator 要做身分验证.

　　2.2. Initiator 会将使用者密码（md5码加密）给Target 端.

　　2.3. Target端将密码和Initiator发送的密码做比对,如果比对正确,这身份验证即成立，否则中断此次连结做.

　　2.4. 在正常连线过程中会不时重复做1~3 的CHAP 身分验证.

　　3.   iscsi单向CHAP配置

　　3.1. target端配置

　　3.1.1 创建target并为其分配设备

　　[root@station9 ~]# tgtadm --lld iscsi --mod target --op new --tid=1 -T iq.example.station9:disk1

　　[root@station9 ~]# tgtadm --lld iscsi --mod logicalunit --op new --tid 1 --lun 1 -b /dev/sdb1

　　[root@station9 ~]# tgtadm --lld iscsi --mod target --op bind --tid 1 -I ALL

　　l 3.1.2 创建CHAP验证帐号（与系统帐号无关）

　　[root@station9 ~]# tgtadm --lld iscsi --mode account --op new --user RedHat --password redhat123

　　#创建帐号redhat密码为redhat123，password 和username 的最大限制是256 字元

　　[root@station9 ~]# tgtadm --lld iscsi --mode account --op bind --tid 1 --user redhat

　　#将帐号redhat绑定到tid为1的target

　　[root@station9 ~]# tgtadm --lld iscsi --mode target --op show

　　3.2. initiator端配置

　　3.2.1修改iscsi配置文件，添加CHAP验证帐号

　　[root@station2 ~]# vim /etc/iscsi/nf

　　node.session.timeo.replacement_timeout = 20   #默认延迟时间120太长,

　　node.session.auth.authmethod = CHAP           #开启CHAP验证

　　node.session.auth.username = redhat           #CHAP帐号，与target中一样

　　node.session.auth.password = redhat123

　　3.2.2 链接target

　　[root@station2 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.32.39:3260

　　192.168.32.39:3260,1 iq.example.station9:disk1

　　[root@station2 ~]# iscsiadm -m node -T iq.example.station9:disk1 -p  192.168.32.39:3260 -l

　　Logging in to [iface: default, target: iq.example.station9:disk1, portal: 192.168.32.39,3260]

　　Login to [iface: default, target: iq.example.station9:disk1, portal: 192.168.32.39,3260]: successful 

　　4.   相互(Mutual）HAP incoming / outgoing验证

　　相互( Mutual ) CHAP验证: CHAP的认证端可为Target(Incoming Authentication)或是Initiator(Outgoing Authentication)任一端来认证.也就是说Target(Incoming Authentication)是由Target端为Initiator认证.这样的认证方式可以允许多个Initiator来连接到Target.而Initiator(Outgoing Authentication)是由Initiator来认证Target端。

　　刚刚已经设定过Incoming 的认证方式,现在要透过"tgtadm" 来建立Outgoing 的认证

　　4.1. target端创建outgong帐号

　　[root@station9 ~]# tgtadm --lld iscsi --op new --mode account --user out_redhat --password out_redhat123

　　[root@station9 ~]# tgtadm --lld iscsi --mode account --op bind --tid 1 --user out_redhat �Coutgoing

　　[root@station9 ~]# tgtadm --lld iscsi --mode target --op show

　　4.2. initiator配置

　　[root@station2 ~]# vim /etc/iscsi/iscsid.conf

　　node.session.timeo.replacement_timeout = 20  

　　node.session.auth.authmethod = CHAP          

　　node.session.auth.username = redhat          

　　node.session.auth.password = redhat123

　　node.session.auth.username_in = out_redhat   

　　#initiator端验证帐号，和target设备的outgoing帐号一样

　　node.session.auth.password_in = out_redhat123