常见的存储组网方式及比较

目录

1、DAS(Direct Attached Storage)

1.1 DAS的定义

1.2 DAS存储系统

1.3 DAS的问题

2、SAN(Storage Area Network)

2.1 SAN存储系统

2.2 SAN分类

2.3 SAN应用

3、NAS(Network Attached Storage)

3.1 NAS常见的协议

3.2 NAS存储系统

3.3 NAS的优势

4、比较

4.1 三种存储模型 

4.2 SAN与NAS的比较 

4.3 三种组网对比

---

存储分类

数据存储经过了三个发展阶段：直接附加存储（DAS）、网络附加存储(NAS) 、存储区域网络（SAN）。

DAS是在以CPU为中心的计算为王时代的产物，适应于最初计算机工业的发展，而对于SAN和NAS，其技术上最大的区别在于是采用专门的协议还是现有的IP技术，以及数据共享等问题的分别考虑，SAN的优势在于最初解决网络带宽问题的考虑，而NAS更侧重于通用性和数据共享的考虑。

1、DAS(Direct Attached Storage)

DAS特别适合于对存储容量要求不高、服务器的数量很少的中小型局域网，其主要的优点在于存储容量扩展的实施非常简单，投入的成本少而见效快。

• 存储设备直接连接到主机
• 数据分散管理
• 存储容量利用率低
• 扩展性差 

1.1 DAS的定义

DAS是1个或多个直接连接到使用它们的服务器上的指定存储设备，这些存储设备为服务器提供块级数据访问服务。 直连存储（DAS）：是一种存储设备与服务器直接相连的架构。DAS为服务器提供块级的存储服务（不是文件系统级）。DAS的例子有：服务器内部的硬盘，直接连接到服务器上的磁带库，直接连接到服务器上的外部的硬盘盒。

基于存储设备与服务器间的位置关系，DAS分为内部DAS和外部DAS两类。

• 内部DAS： 在内部DAS架构中，存储设备通过服务器机箱内部的并行或串行总线连接到服务器上。但是，物理的总线有距离限制，只能支持短距离的高速数据传输。此外，很多内部总线能连接的设备数目也有限，并且将存储设备放在服务器机箱内部，也会占用大量的空间 ，对服务器其它部件的维护造成困难。
• 外部DAS： 在外部DAS结构中，服务器与外部的存储设备直接相连。在大多数情况下，他们之间通过FC协议或者SCSI协议进行通信。与内部DAS相比，外部DAS克服了内部DAS对连接设备的距离和数量的限制。另外，外部DAS还可以提供存储设备集中化管理，更加方便。

1.2 DAS存储系统

DAS我们简单的理解就是用自己的本地硬盘来存储，这些硬盘通过本地接口连接。X86架构一般都用ATA（IDE，SATA）接口，小型机和一些高端X86服务器用SCSI（SCSI，SAS）接口。特别高性能的情况下使用光纤接口FC。但随着串行电接口技术的发展，即便是相对较慢的SATA的速度也早已超出硬盘本身的读写速度，连SSD都只需要SATA接口就可以满足的了，所以今天FC硬盘早不见了，SAS的使用也在逐渐减少。超高速SSD缓存盘直接用PCIE接口。

1.3 DAS的问题

1、可扩展性低

• 可连接到主机的端口数目有限
• 可寻址的磁盘数有限
• 距离限制

2、维护内部DAS时，系统需要下电

3、资源共享性较差

• 阵列前端端口、存储空间 难以共享
• 导致资源孤岛：如存储空间紧张的DAS不能共享存储资源过剩的DAS的剩余空间

优势：DAS设备的配置相对于其他存储架构的优势主要体现在，没有存储设备之间互连的复杂度和网络延迟。

2、SAN(Storage Area Network)

SAN：存储区域网络，提供在主机和存储系统之间数据传输，网络内部数据传输的速率快；主机、存储设备可以独立扩展。它是一种在服务器和外部存储资源或独立的存储资源之间实现高速可靠访问的专用网络。SAN采用可扩展的网络拓扑结构连接服务器和存储设备，每个存储设备不隶属于任何一台服务器，所有的存储设备都可以在全部的网络服务器之间作为对等资源共享。

存储区域网络(Storage Area Networks，SAN)：是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为了实现大量原始数据的传输而进行了专门的优化。因此，可以把SAN看成是对SCSI协议在长距离应用上的扩展。一个完整的SAN包括： 支持SAN的主机设备，支持SAN的储存设备，用于连接SAN的连接设备，支持SAN的管理软件，支持SAN的服务.。

SAN使用的典型协议组是SCSI和Fiber Channel 。 Fiber Channel特别适合这项应用，原因在于一方面它可以传输大块数据，另一方面它能够实现远距离传输。SAN的市场主要集中在高端的，企业级的存储应用上。这些应用对于性能，冗余度和数据的可获得性都有很高的要求。像存储阵列，备份设备等组件都可以称为存储设备。

在一个SAN架构中，可以支持多达1677万个存储设备互联。组件之间的连接距离最远可以达20000公里。从第一个SAN基础设施开始到现在，数据的传输速度已经提高了很多。目前，数据传输速度达到了16 Gb/s ，甚至现在可能达到40 Gb/s 。 在一个SAN环境中，即使有如此之多的组件和功能，也可以非常容易的管理，因为有许多用于监控，管理和报告类的工具。

2.1 SAN存储系统

SAN和DAS一样提供块存储，但又具有像NAS一样通过网络远程连接的优点。

如图所示，一个完整的SAN系统应用通常包括前端应用服务器、传输网络、存储设备等三部分，服务器可以是Windows、Linux、Unix等各种系统的服务器等，传输网络可以是FC网络、IP网络等，而具体采用哪种网络及接口卡，则由这其中关键的存储设备体系决定。

存储设备由前端网络接口、控制器、后端磁盘通道，以及磁盘柜和磁盘等构成。控制器是存储设备的核心，它是一个处理性能的体现，且对各种协议架构都能有相应的优化处理措施，各种存储设备之间不体现明显的差别。

因此存储设备的差别主要体现在前端网络接口（IP或FC），以及后端磁盘通道（SAS或FC）上，根据前后端的搭配不同由此形成四种架构设备：IP+SAS、IP+FC、FC+SAS、FC+FC。一般认为前端提供FC网络接口、通过FC协议与应用服务器相连接的设备为FC SAN设备，而IP SAN设备则指前端提供IP网络接口、通过iSCSI协议与应用服务器连接的设备。

2.2 SAN分类

什么是IP SAN？

以TCP/IP协议为底层传输协议，采用以太网作为承载介质构建起来的存储区域网络架构。 实现IP  SAN的典型协议是iSCSI，它定义了SCSI指令集在IP网络中传输的封装方式。

IP-SAN典型组网方式有：

• 直连：主机与存储之间直接通过以太网卡、TOE卡或iSCSI HBA卡连接，这种组网方式简单、经济，但较多的主机分享存储资源比较困难；
• 单交换：主机与存储之间由一台以太网交换机，同时主机安装以太网卡或TOE卡或iSCSI HBA卡实现连接。这种组网结构使多台主机能共同分享同一台存储设备，扩展性强，但交换机处存在间点故障；
• 双交换：同一台主机到存储阵列端可由多条路径连接，扩展性强，避免了在以太网交换机处形成单点故障。

SAN架构中常用的三种协议：

• FC 协议 (Fibre Channel) ，使用该种协议的SAN架构，称为FC SAN。
• iSCSI 协议 (Internet SCSI)，使用该种协议的SAN架构，称为IP  SAN。
• FCoE 协议(Fibre Channel over Ethernet)。FC 协议通常和iSCSI协议用于现代的SAN架构中，而FCoE协议在服务器需要融合SAN和LAN业务时，也是用得越来越多。

描述	FC SAN	IP SAN
网络速度	4Gb、8Gb、16Gb	1Gb、10Gb、40Gb
网络架构	单独建设光纤网络和HBA卡	使用现有IP网络
传输距离	受到光纤传输距离的限制	理论上没有距离限制
管理、维护	技术和管理较复杂	与IP设备一样操作简单
兼容性	兼容性差	与所有IP网络设备都兼容
性能	非常高的传输和读写性能	目前主流1Gb，10Gb正在发展
成本	购买（光纤交换机、HBA卡、光纤磁盘阵列等）、维护（培训人员、系统设置与监测等）成本高	与FC－SAN相比，购买与维护成本都较低，有更高的投资收益比例
容灾	容灾的硬件、软件成本高	本身可以实现本地和异地容灾，且成本低
安全性	较高	较低

IP SAN只需要很少的硬件配置，并且这些硬件都是广泛使用的，所以，这使得IP SAN的成本比FC SAN低廉得多。大多数的主机都已经配置了合适的网卡和交换机，这些网卡和交换机同样也适合（虽然不完美）于iSCSI协议的传输。高性能的IP SAN，通常需要需要配备专门的iSCSI HBA卡和高端交换机。

2.3 SAN应用

一个SAN解决方案的总体成本相当高(硬件以及需要有SAN技术经验的员工)，所以SAN多用于中大型的公司。这种公司的数据通常是：

• 对响应时间，可靠性和可扩展性都有苛刻要求的关键数据库应用。
• 集中备份和高性能，数据完整性和数据可靠性。 

3、NAS(Network Attached Storage)

在讨论NAS之前我们需要了解文件共享，NAS是基于文件级的共享，而不是块级，这使得客户端更易于通过网络访问。

文件共享涉及到数据存储和访问。在一个文件共享环境中，创建文件的用户可以指定其它用户的文件使用权限（读、写、执行、追加、删除、列表）并且可以控制文件的改变。在文件处于共享的情况下，如果有多个用户同时访问相同的文件，需要一种保护方法来维护数据的完整性。C/S模型中使用的是文件共享协议和分布式文件系统DFS（Distributed File Systems），以下是一些共享实例：

• FTP可以在网络中传输数据。FTP是一种标准的文件传输协议， 服务端和客户端间传输数据采用的是TCP协议。FTP数据在传输过程中没有进行封装，对数据传输的安全性没有保障，FTP over Secure Shell (SSH) 对FTP协议增加了安全规范。
• DFS可以分布在多个主机上，任一主机可以访问整个文件系统，DFS提供高效的数据管理和数据安全保障。

在过去，KB级别的文件共享软盘得到了广泛的应用。随着时间的推移，这时出现了可移动存储介质，比如闪存，能够存储数GB的数据，已完全取代了软盘。 企业不仅需要存储庞大的数据，而且需要通过网络把存储的数据共享出去，NAS无疑是一个不错的选择。对于服务器/主机而言，NAS是一个外部设备，通过网络部署具有非常强的灵活性。

NAS（Network Attached Storage）网络附加存储，即将存储设备连接到现有的网络上，提供数据和文件服务，支持网络文件共享协议CIFS，NFS，NAS实际上就是一个专门优化了的文件服务器。

NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。它基于TCP/IP协议实现文件级数据的存取服务。 NAS将存储设备通过标准的网络拓扑结构连接，可以无需服务器直接上网，不依赖通用的操作系统，而是采用一个面向用户设计的、专门用于数据存储的简化操作系统，内置了与网络连接所需的协议，因此使整个系统的管理和设置较为简单。

NAS主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。

3.1 NAS常见的协议

CIFS – Common Internet File System protocol,传统的微软环境下的文件共享协议，基于服务器消息块协议

NFS – Network File System protocol,传统的UNIX环境文件共享协议 大多数NAS设备支持多种文件服务协议来处理远程文件系统I/O请求。正如前面提到的，NFS和CIFS是通用的文件共享协议。NFS主要是用在基于UNIX的操作环境；CIFS使用基于Microsoft Windows的操作环境。这些文件共享协议使用户能够跨越不同的操作环境共享文件数据，可为用户提供不同操作系统间文件透明迁移。

• NFS是一个客户机/服务器应用程序，使用远程过程调用（RPC）在计算机之间进行通信。用户就像使用自己的计算机一样存储、更新远程NAS上的文件。 用户的系统需要一个NFS客户端连接到NFS服务器。由于NFS服务器和客户端使用TCP/IP传输文件，所以在客户端和服务端系统上必须安装TCP/IP。
• 用户或系统管理员可以使用NFS挂载所有文件系统或文件系统的一部分（任意目录或子目录分级树中的一部分）。被挂载的文件系统可使用权限来控制访问（例如，只读或读-写权限）。
• CIFS是一个基于网络的共享协议，其对网络传输的可靠性要求很高，所以它通常是使用TCP/IP。 NFS用于独立的传输，所以它使用TCP或UDP。 NFS的一个缺点是客户端必须配备专用软件。
• CIFS被集成到操作系统中，不需要额外的软件。 NFS是一个无状态的协议，而CIFS是一个有状态的协议。 NFS连接故障后可自动恢复连接，而CIFS不能。 CIFS仅发送少许的冗余信息，因此它具有比NFS更高的传输效率。

3.2 NAS存储系统

NAS设备在通用服务器的基础上进行了优化，比如文件服务功能、存储、检索、访问应用程序客户端文件。

如图，一个通用服务器可以用来承载任何应用程序，它运行一个通用的操作系统。NAS不像通用服务器，它专用于文件服务，通过使用开放标准协议对其它操作系统提供文件共享服务。

为了提升NAS设备的高可用性，有些NAS供应商还支持NAS集群功能。 NAS设备包含如下组件：

• NAS引擎(CPU和内存等)
• 一个或多个网络接口卡（NIC），提供网络连接。如千兆以太网卡
• 一个优化的操作系统用于NAS功能管理
• 文件共享协议NFS和CIFS
• 采用工业标准存储协议的磁盘资源，如ATA、SCSI、FC

NAS环境包括通过使用标准协议的IP网络访问NAS设备的客户端。 

3.3 NAS的优势

1. 支持全面获取信息：NAS实现高效的文件共享，支持多对一和一对多配置。多对一配置允许NAS可同时被多个客户端访问；一对多配置允许一个客户端可同时连接多个NAS设备
2. 提高效率：NAS设备提供专用的操作系统提供文件服务，可以减少通用文件服务器的文件服务操作，提高通用服务器的利用率，消除通用服务器访问文件时的瓶颈。
3. 提高灵活性：NAS使用行业标准协议，对UNIX客户端和Windows客户端具有很好的兼容性。不同类型的客户端在访问同一资源时能灵活的提供服务。
4. 集中存储：集中的数据存储，减少客户端工作站的重复数据，简化数据管理，并提供更高的数据保护。
5. 简化管理：提供一个控制台集中管理，可以有效地管理文件系统。
6. 可扩展性：根据不同的利用率配置和各种业务应用可提供高性能、低延迟扩展。
7. 高可用性---通过本地集群：NAS设备可以使用集群技术用于故障切换。 NAS使用冗余的网络组件，提供多连接选项。复制功能和恢复选项丰富，可实现数据高可用性。
8. 安全：通过用户身份验证、文件锁定和符合业界标准的安全架构相结合的方式确保数据安全性。

4、比较

1. DAS虽说比较古老，扩展性和利用率相对都比较低；但是它扩展容量实施非常简单，投入成本少见效快，所以很适用于那些数据量不大，对磁盘访问速度要求较高的中小企业。
2. NAS多适用于文件服务器，用来存储非结构化数据，虽然受限于以太网的速度，但是部署灵活，成本低；
3. SAN则适用于大型企业或数据库系统，对数据的可靠性和扩展性有较高的要求，缺点是成本高、实施比较复杂。

4.1 三种存储模型 

•  DAS是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。
• SAN是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。
• NAS是一种文件共享服务。存储系统拥有自己的文件系统，通过NFS或CIFS（SMB）对外提供文件访问服务。

4.2 SAN与NAS的比较 

 SAN（Storage Area Networks）

• 协议: FC/iSCSI
• 裸设备访问，适宜传统数据库访问
• 依赖应用主机提供文件访问。
• 共享访问需要集群软件支持，处理冲突访问开销大，性能较差，难以支持异构环境共享 裸设备数据迁移困难

NAS（Network- Attached Storage ）

• 协议:NFS/CIFS (基于TCP/IP)
• 提供文件访问，适用于文件存储需求
• 适宜文件共享访问的应用，支持异构平台文件共享
• 文件的数据迁移比裸设备简单可靠 

4.3 三种组网对比

存储系统架构	DAS	NAS	SAN
数据传输协议	SCSI/FC/ATA	TCP/IP	FC
传输对象	数据块	文件	数据块
使用标准文件共享协议	否	是（NFS/CIFS……）	否
集中式管理	不一定	是	需要管理工具
提高服务器效率	否	是	是
灾难忍受度	低	高	高，专有方案
适合对象	中小企业服务器，捆绑磁盘（JBOD）	中小企业，监控，光电编播	大型企业，数据中心
应用环境	局域网。 文档共享程度低，独立操作平台，服务器梳理少。	局域网。 文档共享程度高，异质格式存储需求高。	光纤通道储域网。 网络环境复杂，文档共享程度高，异质操作系统平台，服务器数量多。
容量扩充能力	低	中	高