FC-SAN vs. IP-SAN详细技术比较

其实在前两年我们根本就没有讨论FC-SAN与IP-SAN优劣势的必要，因为在那个时候的存储区域网业界还是被光纤传输模式一统天下，并且在相当长的一段时间里面表现出了优异的性能、可靠性和可扩展性。但是在这一年多以来，随着IP-SAN存储设备的出现，其携便利的扩展性和低廉的价格向FC-SAN发起了一轮又一轮的冲击。

　　那么在这个事关业务应用核心数据安全、高效传输的存储区域网到底采用何种方式搭建才能发挥应有的优势呢?本文力求从数据传输性能、传输稳定性、存储区域网的可扩展性、存储区域网设备的可靠性和SAN网络的可管理性共5个方面来对FC-SAN和IP-SAN进行一个对比。

　　一. 数据传输性能方面的比较

　　1.1 传输协议利用率问题

　　从以上协议帧格式即可明显的看出，以太网传输数据包最高到1500 字节。包是以太网中基本校正单元，在每一帧后都会导致消耗CPU 周期的一个中断。在GB 以太网里负载通常也是一个限制因素，避免占用全部带宽。而在FC 数据帧达到2000 多字节，FC 校正基本单元是一个多帧队列。MTU可以达到64 个帧，比较以太网而言允许光纤通道在主机中断之间传输更多的数据。这种MTU可减少需要的CPU 周期和提高传输效率。

　　同时光纤通道网络是基于流控制的封闭网络。以太网设计之初是没考虑到要通过无流控制的公网，而是基于CSMA/CD机制来进行传输的，因此它在阻塞发生时，在一个时间段之后返回并重发包，消耗额外的CPU 周期，并且负载越大，其可能重发包的几率也相应增大，从而引起可能消耗大量的CPU资源。

　　如光纤传输中常使用的FCP-SCSI 协议是将光纤通道设备映射为一个操作系统可访问的逻辑驱动器的一个串行协议，这个协议使得以前基于SCSI 的应用不做任何修改即可使用光纤通道。所以在FC本身的结构即为数据提供了高效率的传输途径。

　　而在以太网的传输中每次以单帧为单位，其中在传输过程中还必须进行层层的封装与解包，从而大大影响了整个链路的数据传输效率，并且在处理过程中也大大增加对系统本身性能的影响。

　　在实际的对比测试中，其测试数据结果表明在同样的1Gbps的光纤链路(FC)与1Gbps的千兆以太网(IP)中进行数据传输时，FC的实际利用率在70%-80%左右，最高可达90%;而在千兆以太网中，其实际利用率平均在20%左右，最高也只能达到30%左右。从以上协议本身分析看来，在以太网中并不能提供针对如存储等大数据量以及I/O应用所需要的好的性能。这也是在存储区域网设计之初没有考虑IP存储的原因，虽然TCP/IP传输协议的出现较FCP传输协议出现得早。

　　另外基于FC协议的FC-SAN理论传输速率早已达到了2Gb/s的水平，目前业界主流也已达到了4Gb/s，而基于IP协议的IP-SAN目前来说1Gb/s的理论传输速率还是主流，未来10G/s的理论传输速率还需要10G以太网的进一步发展和强壮才能够达到。据iSCSI相关技术人员的实测数据显示：基于1Gb的IP网络搭建IP SAN，数据传输速率在80-90MB/s左右，如果是全双工模式的交换机，可以达到160MB/s左右，相比光纤通道190MB/s(全双工360MB/s)的传输速率还是有明显差距。

光纤通道的基本架构如下：

　　FC-0：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口以及电缆指标;

　　FC-1：定义编码和解码的标准;

　　FC-2：定义了帧、流控制、和服务质量等;

　　FC-3：定义了常用服务，如数据加密和压缩;

　　FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协议，HBA 的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI，FC-IP，FC-VI.

　　由以上架构也可清晰看出，在FC中，其上层(FC-4)直接通过其协议映射关系，将上层的应用的命令映射成为叫做“信息单元”的逻辑结构。 一个独立信息单元通常映射为序列。 与信息单元相关， I/O请求操作映射成为单独的交换。 而所有的传输则是以大数据量的序列为单位进行处理的。同时序列和交换结构一般已经足以包含关于流控制的可调选项以及存储恢复策略。

　　A、交换

　　光纤路径通信由多层通信方式来实现。最高层，或者称会话层，是节点之间面向应用的通信。光纤路径中的这种通信被称为交换。交换是双向的，尽管没有要求，但它能同时在两个方向上传输信息。交换通常所花的时间会很长。一个端口可以同时管理多个交换。换而言之，两端口之间的交换通信不会妨碍该端口和其他端口之间的信息交换。

　　B、序列

　　交换由序列组成。序列是网络中端口之间的单向信息传输。在下一个序列被发送或接收前，当前序列必须完成。换而言之，序列不允许违规传输。这也是它们被称为序列的原因。

　　C、帧

　　光纤路径中最小的传输粒度是帧。光纤路径中的帧与其他所有网络中的帧类似：均由开始标记、帧头、地址段、应用数据、错误校验段、回应数据和帧尾组成。所有的帧都属于某一个序列，因此也属于一个交换。

　　在I/O操作中使用这些结构时，交换和一个I/O操作的读或写文件操作相关，序列大致和闭域数据传输等价，帧和单个SCSI指令相当，它包括所有的请求、应答和错误传输。

　　其具体形式如下图所示：

1.2 从存储设备的结构来看

　　一般来说IP-SAN存储设备的磁盘控制器不是采用FC-SAN存储设备中的硬件RAID芯片+中央处理器的结构，而是采用每个磁盘柜中分为多个磁盘组，而每个磁盘组由一个微处理芯片控制所有的磁盘RAID操作(采用软件计算，效率较低)和RAID组的管理操作。这样一来，每一次磁盘I/O操作都将经过IP-SAN存储内置的一个类似交换机的设备从前端众多的主机端口中读取或者写入数据，而这些操作都是基于IP交换协议，其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作，所以一般我们看到的IP-SAN存储都具有几十个GB的缓存。利用这个大的缓存区，IP-SAN存储在测试Cache的最大读带宽时可以获得600，000IOPS甚至以上这样高的值，但是这个值并不能真正说明在实际应用中就能够获得好的性能。因为在具有海量存储的时候，不可能所有的数据均载入到系统缓存中，这个时候就需要大量的磁盘I/O操作来查找数据，而IP-SAN存储所采用的SATA磁盘在这一块切切性能非常弱，而且还涉及到一个在IP网络上流动的iSCSI数据向ATA格式数据转化的效率损失问题。也就是说IP-SAN存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。

　　而采用FC磁盘的FC-SAN存储设备就不存在这样的问题。通过2条甚至4条冗余的后端光纤磁盘通道，可以获得一个非常高的磁盘读写带宽，而且FCP的磁盘读写协议不存在一个数据格式转换的问题，因为他们内部采用的都是SCSI协议传输，避免了效率的损失。而且FC-SAN存储设备由于光纤交换和数据传输的高效性，并不需要很大的缓存就能够获得一个好的数据命中率和读写性能，一般2Gb或者4Gb即可满足要求。另外由于具备专门的硬件RAID校验控制芯片，所以磁盘RAID性能将比软件RAID性能好很多，并且可靠性更好。

　　1.3 从连接拓扑结构来看

　　在FC-SAN 中存在着其灵活的连接方式，可根据不通的应用需求而选择不同的连接拓扑，其主要连接方式有如下三种：

　　点对点：首先各个组成设备通过登陆建立初始连接，然后即采用全带宽进行工作，其实际的链路利用率为每个终端的光纤通道控制器以及发送与接收数据可获得缓冲区大小来决定。但其只适用于小规模存储设备的方案，不具备共享功能。

　　仲裁环：允许两台以上的设备通过一个共享带宽进行通信与交流，在此拓扑结构中，任意一个进程的创建者在发送一段报文之前，都将首先与传输介质就如何存取信息达成协议，因此所有设备均能通过仲裁协议实现对通信介质的有序访问。

　　全交换：通过链路层交换提供及时、多路的点对点的连接。通过专用、高性能的光纤通道交换机进行连接，同时可进行多对设备之间点对点的通信，从而使整个系统的总带宽随设备的增多而相应增大，在增多的同时丝毫不影响这个系统的性能。

　　在IP-SAN 中基于以太网的数据传输与存取中，虽然在物理上可体现为总线或者星型连接，但其实质为带冲突检测多路载波侦听(CSMA/CD)方式进行广播式数据传输的总线拓扑，因此随着负载以及网络中通信客户端的增加，其实际效率会随着相应的降低。

　　1.4 从网络设备及传输介质来看

　　FC-SAN：使用专用光纤通道设备

　　在链路中使用光纤介质，不仅完全可以避免因传输过程中各种电磁干扰，而且可以有效达到远距离的I/O通道连接

　　在FC-SAN 中所使用的核心交换设备-光纤交换机均带具有高可靠性及高性能的ASIC芯片设计，使整个处理过程完全基于硬件级别的高效处理。

　　同样在连接至主机的HBA设计中，绝大多数操作独立处理，完全不耗费主机处理资源

　　IP-SAN：使用通用的IP网络及设备

　　在传输介质中使用铜缆、双绞线、光纤等介质进行信号的传输，但在普通的廉价介质存在信号衰减严重等缺点，而使用光纤也同样需要特有的光电转换设备等。在IP网络中，可借助IP路由器进行传输，但根据其距离远近，会产生相应的传输延迟。

　　核心使用各种性能的网络交换机，受传输协议本身的限制，其实际处理效率不高。

　　在主机端通常使用廉价的各种速率的网卡，大量耗费主机的应用处理资源。

　　可得出如下光纤通道(FC)与网络(IP)的对比表，该对比表可清晰表明使用光纤通道进行大数据量的信息存储传输与处理中在其性能有着网络在现阶段无法比拟的优势。

　　面向连接的模式数据传输通道信号传输校验方式特点传输延迟传输距离RAID方式

　　光纤通道(FC)连接业务物理电路可靠的硬件传输高速低延迟较短距离基于硬件

　　网络(IP)无连接逻辑电路不可靠的传输高连接更高的延迟更远的距离基于硬件

　　1.5 从存储能够响应的并发操作能力来看

　　从应用上来说，相对于IP-SAN，FC-SAN可以承接更多的并发访问用户数。当并发访问Storage的用户数不多的情况时，FC-SAN对比IP-SAN二者性能相差无几。但一旦当外接用户数呈大规模增长趋势时，FC-SAN就显示出其在稳定、安全、以及高性能传输率等方面的优势，不会像IP-SAN由于自身传输带宽的瓶颈而导致整个系统的被拖垮。面对大规模并发访问，无论是从外接用户数规模来说还是从传输性能和稳定性来说，FC-SAN都有着IP-SAN不可比拟的优势。

二. 存储区域网中设备稳定性比较

　　FC-SAN 由于使用高效的光纤通道协议，因此大部分功能都基于硬件来实现的，如后端存储子系统的存储虚拟通过带有高性能处理器的专用RAID 控制器来实现，中间的数据交换层通过专用的高性能ASIC来进行基于硬件级的交换处理，在主机端通过带有ASIC 芯片的专用HBA 来进行数据信息的处理。因此在大量减少主机处理开销的同时，也大大提高了整个FC-SAN的稳定性。

　　IP-SAN 使用通用的IP 协议，而所有的协议转换及处理时，绝大部分依赖于软件来实现，而软件的不稳定性因素也随软件的复杂度的增加而呈指数级增加，从而在大型的网络中，整个系统的稳定性也会随之降低。

　　三. 存储区域网的可扩展性比较

　　在全交换(FC-SW Fibre Channel switch fabric)的FC-SAN 中，各通信终端通过FC端口登陆后来进行数据的传输与处理，而每个端口会提供专用的24位的FC端口地址(WWN)来进行数据通信，根据其地址分配策略，在FC-SW中实FC-SAN与IP-SAN比较际可用的地址值达到1550 万，因此在实际的企业级应用中，完全可以满足任何规模的存储网络的建立。

　　同时在FC 网络中，由于所有的介质均选用光媒质来进行传输，所以其设备均具有热插拔的能力，因此不管在已有的或者新建立的FC-SAN 网络里可在线完全非中断应用的情况下对现有的FC-SAN 网络进行扩展，如增加新的服务器、增加新的存储空间等等，并且完全不影响已有系统的性能。

　　在IP-SAN中由于借助原有的IP网络，因此在其网络连接拓扑也同样具有好的可扩展性。但在使用IP 存储时，由于通常使用了专有的存储虚拟软件，所有的存储分配与虚拟均通过软件来实现，所以在进行存储的扩展时，很大程度取决于存储虚拟软件的设计性能以及架构等等。

　　四. 存储区域网的可靠性比较

　　FC-SAN的设计初衷是基于企业级的核心数据以及应用而设计的，因此在其兴起、发展直至成熟，对整个系统的可靠性均有着很高的要求。在整个系统中，除了本身系统即基于高靠的环境中外，所有设备均采用高可靠性的硬件及芯片来设计，并且系统的核心部件以及相关的所有链路等均可采用热插拔双冗余的设计，如存储子系统的冗余控制器、冗余电源等;链路可采用多路径冗余或者负载均衡等等。另大部分设计是基于硬件的，所以方便使用高可靠、高性能的嵌入式系统来进行数据的处理。

　　IP-SAN 本身即基于不可靠的IP 网络，因此其可靠性必须在已有的软件中增加其可靠性的设计，如增加冗余的功能、提供HA 模式等等。因为是基于软件设计的，因此在功能上会有所丰富的表现，但其可靠性也同样是基于软件的复杂度的增加而降低，同时也可能会引起性能下降的副作用。

　　五. 存储区域网的可管理性比较

　　FC-SAN本身即一个开放式的独立系统，并存储和处理企业核心的数据信息，因此对其有和良好的管理与监控也至关重要。在FC-SAN 的发展与成熟过程中，无论就其系统的某个单独的子系统还是整个FC-SAN 系统都与产生产生了相应丰富的管理与监控软件。它们可以提供各种方式的连接，如WEB、RS-232等;各种管理界面，如字符界面、命令行界面、GUI图形界面等;各种集中或独立的灵活管理方式，如C/S方式的集中管理、直接本地LED或者远程WEB单独监控、整个存储子系统设备的集中管理与配置或单个模块的特定监控等等。

　　IP-SAN 基于IP 网络的设计，其本身很大一部分也是基于软件实现的，因此就其管理性而言，由于可在已有的平台或软件中嵌套、重新设计新的管理模块，所以也提供了丰富的管理功能及方式，因此也同样有着好的可管理性。