1、 接口介绍
1) 、ATA (Advanced Technology Attachment)
高级技术附件
ATA硬盘又称IDE硬盘 并行传输协议”
速率一般在133MB/s
优点:价格低廉,兼容性好
缺点:速度慢,对接口电缆有严格限制(理论最长12m,推荐5m)
补充:一方面,硬盘制造技术的成熟使ATA硬盘的单位价格逐渐降低,另一方面,由于采用并行总线接口,传输数据和信号的总线是复用的,因此传输速率会受到一定的限制。如果要提高传输的速率,那么传输的数据和信号往往会产生干扰,从而导致错误。
2) 、SATA (Serial ATA)
串行ATA接口
串行传输协议
速率一般在150MBps—600MBps,一般是6Gb/s
优点:采用点对点连接,支持热插拔,接口采用7+15针,单通道,抗干扰能力比ATA更强
缺点:价格更贵
补充:在数据传输的过程中,数据线和信号线独立使用,并且传输的时钟频率保持独立,因此同以往的PATA相比,SATA的传输速率可以达到并行的30倍。可以说:SATA技术并不是简单意义上的PATA技术的改进,而是一种全新的总线架构。
3) 、SCSI (Smart Compute System Interface)
小型计算机系统接口,中端存储主流之选
存储最基本的传输协议
并行传输协议
优点:适用面广,高性能(多任务,高带宽,CPU占用率低(有独立的芯片负责数据处理)),支持热插拔(SCSI硬盘也有专门支持热拔插技术的SCA2接口(80-pin))
缺点:价格昂贵,安装复杂
4) 、SAS (Serial Attached SCSI)
串行连接SCSI接口
串行传输协议
优点:点对点,全双工,速度快,支持多个窄端口捆绑形成多个宽端口,扩展性高(一个SAS域最多可以接16384块硬盘,每个扩展器可以最多连接 128 个物理连接,其中包括其它主控连接,其它 SAS 扩展器或硬盘驱动器。)
缺点:价格昂贵
5) 、PCIE (PCI Experss)
高速互联总线
优点:采用点对点,全双工方式,每1x为两对差分线,一收一发(1x,2x,4x,8x,16x,32x),最高速度64GB/s,高可靠,树形组网
2、 传输协议介绍
1) 、SCSI
最初是一种为小型机研发的接口技术,用于主机与外部设备之间的连接,SCSI协议是主机与存储磁盘通信的基本协议,DAS使用SCSI协议实现主机服务器与存储设备的互联
SCS协议栈
主机------------------------------------------------------存储磁盘
应用层---------------------------------------------------应用层
传输层---------------------------------------------------传输层
互联层---------------------------------------------------互联层
应用层:SCSI协议采用C/S体系架构,SCSI协议客户端位于主机,代表上层应用程序,文件系统,和操作系统发起IO请求
传输层:SCSI设备之间通过一系列的命令实现数据块的传送,大致分为三个阶段:命令的执行,数据的传输,命令的确认
互联层:完成SCSI设备对总线的连接,以及发送方和目标方的选择功能
SCSI协议寻址
SCSI总线------>设备ID------>逻辑单元号
SCSI总线:区分不同的SCSI总线
设备ID :区分同一个SCSI总线上的不同设备
逻辑单元号:区分SCSI设备中的子设备(LUN)
SCSI协议传输过程
①总线忙:在开始总线通信之前,总线必须处于空闲状态,启动器设备首先会发一个测试信号来确认总线是否空闲
②寻址:通过发送方和接收方的地址来确认通信双方
③协商:通信双方协商确定后面的数据包大小和传输速度
④连接:数据包的实际传输
⑤断开连接:传输完成,释放总线
SCSI读写操作过程
①、API接口将用户读写操作转换为SCSI读写操作
②、获得对总线的使用权和对目标方的选择和寻址
③、通过CDB发送SCSI命令
④、在逻辑单元号中执行命令请求的操作
⑤、传输数据
⑥、传输完成后,发送命令完成报告
⑦、接受到目标方命令完成的响应,总线回复到空闲状态
SCSI协议的缺点
①、数据位漂移现象:作为一个总线传输协议,数据会在多根数据线上进行传输,由于总线之间存在串扰,且总线在材质上存在细小的差别,这就会导致同时从发起端发出的数据会在不同的时间到达目标端,我们称之为数据位漂移(漂移窗口,最先到达和最后达到的数据位之间的时间差)
②、SCSI允许连接设备数量较少
③、SCSI连接设备的距离非常有限(由于串扰和信号衰减极其严重,最高支持25米传输距离)
所以产生了iSCSI
2) 、iSCSI
iSCSI把SCSI命令和数据块封装在TCP中在IP网络中传输,基本出发点是利用成熟的IP网络技术来实现和延申SAN,为用户提供高速,低价,长距离的存储解决方案
iSCSI节点将SCSI指令和数据封装成iSCSI包,然后该数据封装被传送到TCP/IP层,再由TCP/IP协议将iSCSI包封装成IP协议数据,以适合在网络中传输
iSCSI协议栈
SCSI(应用程序、文件系统、数据块)
SCSI块指令 | SCSI流指令 | 其他SCSI指令
SCSI指令 、数据和状态
iSCSI
TCP
IP
以太网等
iSCSI在此处作为桥梁,连接两种不同协议,承上启下
iSCSI中的目标器和启动器
启动器:发起端,Initiator,发起IO请求
SCSI层负责生成CDB,将CDB传给iSCSI
iSCSI层负责生成iSCSI PDU,并通过IP网路将PDU发给target
目标器:接收端,Target,响应请求并进行实际IO操作
iSCSI层收到PDU,将CDB传给SCSI层
SCSI层负责解释CDB的意义,必要时发送响应
在Initiator和Target建立连接后,Target在操作中作为主设备控制整个过程
iSCSI协议为Initiator和Target定义了一套命令和寻址方法,所有的iSCSI节点都是通过其iSCSI名称被识别的
iSCSI连接方式
①、以太网+软件Initiator
软件Initiatro用于封装SCSI成iSCSI,完成iSCSI报文到TCP/IP报文的转换
Initiator软件可以将以太网卡虚拟为iSCSI卡,接受和发送iSCSI数据报文,从而实现主机和iSCSI设备之间的iSCSI协议和TCP/IP协议传输功能
②、TOE网卡+软件Initiator
硬件TOE网卡可以完成iSCSI报文到TCP/IP报文的转换,该部分不占用主机资源,可以减轻主机负担
与第一种方式相比,采用TOE卡可以大幅度提高数据的传输速率。TCP/IP协议栈功能由TOE卡完成,而iSCSI层的功能仍旧由主机来完成。
由于TOE卡也采用TCP/IP协议,相当于一块高性能的以太网卡,所以第二种方式也可以看做是第一种连接方式的特殊情况。
③、iSCSI HBA卡
iSCSI HBA卡完成SCSI到TCP/IP的转换,完全不占用主机资源
性能:iSCSI HBA卡 > TEO网卡+Initiator软件 > 网卡+Initiator软件
价格: iSCSI HBA卡 > TEO网卡+Initiator软件 > 网卡+Initiator软件
3) 、SAS
SAS协议采用点对点连接的结构,在通信的两个设备间建立了专用链路进行通信,通信速度快很多,因为两个设备通信不需要检测是否被允许使用链路
SAS协议栈
应用层:描述如何在不同类型的应用下使用SAS的细节
传输层:定义了如何将所传输的命令,状态,数据封装在SAS帧中,以及如何分解SAS帧
端口层:描述的是链路层和传输层的接口,包括如何请求,中断,如何建立连接
链路层:描述的是如何控制phy层连接管理,以及原语,CRC检验和加解扰,速率匹配处理
PHY层:包括了最低协议,比如编码方案和供电/复方序列等
物理层:对于线缆,接头,收发器等硬件进行了定义
SAS子协议
SMP:对于SAS进行管理的子协议
SSP:兼容SCSI协议栈的子协议
STP:兼容ATA指令集的子协议
4) 、FC
FC是光纤通道(Fiber Channel)的简称,用于服务器共享存储设备连接,存储控制器和驱动器之间的内部连接。FC是一种高性能的串行连接标准
FC协议栈
高层协议:SCSI-3 IP ATM
FC-4:协议映射层,定义了光纤通道和上层应用之间的接口
FC-3:定义了常用服务,如数据加密和压缩
FC-2:定义了成帧,QoS,流控,拓扑等,结构协议
FC-1:定义了编码和解码的标准 编码/解码
FC-0:物理层,定制了不同介质,传输距离,信号机制标准,也定义了光纤和铜线接口以及电缆指标 物理转化
FC拓扑结构
点对点:
两个设备背对背连接,这是一种最简单的一种拓扑连接能力受限
最多两个设备
仲裁环:
通过添加光纤通道集线器的方法,能够将众多设备连接到一起,形成一个逻辑上的环路,并且能够旁路故障节点,使得环上节点的故障不会影响这个环路通信
可以连接127个设备,设备间寻址用的是8位ID
交换网络:
所有设备或者设备环都被连接到光纤网络交换机,交换机对结构形式进行管理,提供了最好的互联方式,多个节点可以同时通信,各个节点的故障是孤立的不会危及到其他节点的工作
可以连2^24=1600万左右的设备
FC端口类型
FC交换机
N端口是节点上使用的端口
F端口是光交换机上使用的端口
E端口是光交换机进行级联使用的端口
G端口是通用端口,可以适应任何端口
光集线器端口
FL端口是光Hub上使用的端口类型或者光交换机与光Hub连接使用端口类型
NL端口是节点与光Hub连接使用的端口类型
FC Zone
与以太网交换机VLAN功能相似,都是为了实现特定组设备之间的相应通道通信,避免广播包的泛洪
5) 、FCOE
FCOE可以提供标准的光纤通道原有服务,如发现,全局名称命名,分区等,而且这些服务都可以照标准原有的操作,保有FC原有的低延迟性,高性能
FCOE是把FC承载在一种新的链路上级增强型无损以太网(避免丢包)
既保证了FC协议的可靠性,又兼顾了以太网传输协议的传输距离,可以使用现有以太网交换机开启FCOE功能,这样就减小了搭建成本和开销
FCOE协议栈
FC-4
FC-3
FC-2 上三次为FC协议层
FCOE
MAC 下两次为以太网协议层
PHY
CEE增强型以太网
通过一下三种方式实现数据的可靠性
①、基于优先级的流量控制
②、增强的传输选择
③、拥塞通告
6) 、IB
IB(InfiniBand)技术不是用于一般网络连接的,它主要是设计目的针对服务器端的连接问题
被应用于服务器与服务器,服务器与存储设备以及服务器和网络之间的通信
IB特点
基于标准协议
高带宽,低时延
远程直接内存存取功能
传输卸载
IB协议栈
应用层:
传输层:信息包的按序分发,分割,通道多路技术以及传输服务
网络层:提供信息包从一个子结构到另一个子结构的路由机制
链路层:提供局部子系统中信息设计,点到点连接以及包交换等
物理层:定义了三种速率的连接,1x ,4x,12x
IB接口
HCA(Host Channel Adapter):主机通道适配器
TCA(Target Channel Adapter):目标通道适配器
用于IB交换机,存储系统的IO接口
IB的信令模式
IB性能快的原因
基于通道的端到端互联结构,不共享总线,没有相关电子限制,仲裁冲突和内存一致性问题
协议简单高效,开销小,协议硬件卸载
QoS:16级的VL和16级的SL,实现了高效服务质量管理和基于信用度的双层流控制
RDMA+数据零拷贝
支持多并发链接:理论上并发越多,速度越快