存储备份之RAID

RAID级别你选谁(上)
RAID 012345 到底哪一种适合你,不只是成本问题,容错功能和传输性能的考虑以及未来之可扩充性都应该符合应用的需求。

  RAID 在市场上的的应用,已经不是新鲜的事儿了,很多人都大略了解RAID的基本观念,以及各个不同RAID LEVEL 的区分。但是在实际应用面,我们发现,有很多使用者对于选择一个合适的RAID LEVEL,仍然无法很确切的掌握,尤其是对于RAID 0+1 (10),RAID 3,RAID 5之间的选择取舍,更是举棋不定。

  本文将针对RAID 0+1/10、RAID 3以及RAID 5的工作原理和特性,作一些分析和比较,以列出这些不同RAID阶层所适合的应用,希望对各位能有原则性的帮助。

   RAID条切“striped”的存取模式

  在使用数据条切﹝Data Stripping﹞ 的RAID 系统之中,对成员磁盘驱动器的存取方式,可分为两种:

  并行存取﹝Paralleled Access﹞
  独立存取﹝Independent Access﹞

  RAID 2和RAID 3 是采取并行存取模式。

  RAID 0、RAID 4、RAID 5及RAID 6则是采用独立存取模式。

   平行存取模式

  并行存取模式支持里,是把所有磁盘驱动器的主轴马达作精密的控制,使每个磁盘的位置都彼此同步,然后对每一个磁盘驱动器作一个很短的I/O数据传送,如此一来,从主机来的每一个I/O 指令,都平均分布到每一个磁盘驱动器。

  为了达到并行存取的功能,RAID 中的每一个磁盘驱动器,都必须具备几乎完全相同的规格:转速必须一样;磁头搜寻速度﹝Access Time﹞必须相同;Buffer 或Cache的容量和存取速度要一致;CPU处理指令的速度要相同;I/O Channel 的速度也要一样。总而言之,要利用并行存取模式,RAID 中所有的成员磁盘驱动器,应该使用同一厂牌,相同型号的磁盘驱动器。

   

  并行存取的基本工作原理

  假设RAID中共有四部相同规格的磁盘驱动器,分别为磁盘驱动器A、B、C和D,我们在把时间轴略分为T0、T1、T2、T3和T4:

T0: RAID控制器将第一笔数据传送到A的Buffer,磁盘驱动器B、C和D的Buffer都是空的,在等待中
T1: RAID控制器将第二笔数据传送到B的Buffer,A开始把Buffer中的数据写入扇区,磁盘驱动器C和D的Buffer都是空的,在等待中
T2: RAID控制器将第三笔数据传送到C的Buffer,B开始把Buffer中的数据写入扇区,A已经完成写入动作,磁盘驱动器D和A的Buffer都是空的,在等待中
T3: RAID控制器将第四笔数据传送到D的Buffer,C开始把Buffer中的数据写入扇区,B已经完成写入动作,磁盘驱动器A和B的Buffer都是空的,在等待中
T4: RAID控制器将第五笔数据传送到A的Buffer,D开始把Buffer中的数据写入扇区,C已经完成写入动作,磁盘驱动器B和C的Buffer都是空的,在等待中
 
如此一直循环,一直到把从主机来的这个I/O 指令处理完毕,RAID控制器才会受处理下一个I/O 指令。重点是在任何一个磁盘驱动器准备好把数据写入扇区时,该目的扇区必须刚刚好转到磁头下。同时RAID控制器每依次传给一个磁盘驱动器的数据长度,也必须刚刚好,配合磁盘驱动器的转速,否则一旦发生miss,RAID 性能就大打折扣。

  并行存取RAID的最佳应用

  并行存取RAID之架构,以其精细的马达控制和分布之数据传输,将数组中每一个磁盘驱动器的性能发挥到最大,同时充分利用Storage Bus的频宽,因此特别适合应用在大型、数据连续的档案存取应用,例如:

  影像、视讯档案服务器
  数据仓储系统
  多媒体数据库
  电子图书馆
  印前或底片输出档案服务器
  其它大型且连续性档案服务器

  由于并行存取RAID架构之特性,RAID 控制器一次只能处理一个I/O要求,无法执行Overlapping 的多任务,因此非常不适合应用在I/O次数频繁、数据随机存取、每笔数据传输量小的环境。同时,因为并行存取无法执行Overlapping 的多任务,因此没有办法"隐藏"磁盘驱动器搜寻﹝seek﹞的时间,而且在每一个I/O的第一笔数据传输,都要等待第一个磁盘驱动器旋转延迟﹝rotational latency﹞,平均为旋转半圈的时间,如果使用一万转的磁盘驱动器,平均就需要等待50 usec。所以机械延迟时间,是并行存取架构的最大问题。

   独立存取模式

  相对于并行存取模式,独立存取模式并不对成员磁盘驱动器作同步转动控制,其对每个磁盘驱动器的存取,都是独立且没有顺序和时间间格的限制,同时每笔传输的数据量都比较大。因此,独立存取模式可以尽量地利用overlapping 多任务、Tagged Command Queuing等等高阶功能,来"隐藏"上述磁盘驱动器的机械时间延迟﹝Seek 和Rotational Latency﹞。

  由于独立存取模式可以做overlapping 多任务,而且可以同时处理来自多个主机不同的I/O Requests,在多主机环境﹝如Clustering﹞,更可发挥最大的性能。

  独立存取RAID的最佳应用

  由于独立存取模式可以同时接受多个I/O Requests,因此特别适合应用在数据存取频繁、每笔数据量较小的系统。例如:

  在线交易系统或电子商务应用
  多使用者数据库
  ERM及MRP 系统
  小文件之文件服务器

RAID级别你选谁(下)
一般常用的RAID阶层,分别是RAID 0、RAID1、RAID 3、RAID 4以及RAID 5,再加上二合一型 RAID 0+1﹝或称RAID 10﹞。我们先把这些RAID级别的优、缺点做个比较:
 

 

RAID级别 相对优点 相对缺点
RAID 0 存取速度最快 没有容错
RAID 1 完全容错 成本高  
RAID 3 写入性能最好 没有多任务功能
RAID 4 具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈
RAID 5 具备多任务及容错功能 写入时有overhead
RAID 0+1/RAID 10 速度快、完全容错 成本高


  接下来,我们分别针对RAID 3、RAID 5以及RAID 0+1/RAID 10作深入的讨论。

  RAID 3特点与应用

  RAID 3 是将数据先做XOR 运算,产生Parity Data后,在将数据和Parity Data以并行存取模式写入成员磁盘驱动器中,因此具备并行存取模式的优点和缺点。进一步来说,RAID 3每一笔数据传输,都更新整个Stripe﹝即每一个成员磁盘驱动器相对位置的数据都一起更新﹞,因此不会发生需要把部分磁盘驱动器现有的数据读出来,与新数据作XOR运算,再写入的情况发生﹝这个情况在RAID 4和RAID 5会发生,一般称之为Read、Modify、Write Process,我们姑且译为为读、改、写过程﹞。因此,在所有RAID级别中,RAID 3的写入性能是最好的。

  RAID 3的 Parity Data 一般都是存放在一个专属的Parity Disk,但是由于每笔数据都更新整个Stripe,因此,RAID 3的 Parity Disk 并不会如RAID 4的 Parity Disk,会造成存取的瓶颈。

  RAID 3的并行存取模式,需要RAID 控制器特别功能的支持,才能达到磁盘驱动器同步控制,而且上述写入性能的优点,以目前的Caching 技术,都可以将之取代,因此一般认为RAID 3的应用,将逐渐淡出市场。

  RAID 3 以其优越的写入性能,特别适合用在大型、连续性档案写入为主的应用,例如绘图、影像、视讯编辑、多媒体、数据仓储、高速数据撷取等等。

  RAID 4特点与应用

  RAID 4 是采取独立存取模式,同时以单一专属的Parity Disk 来存放Parity Data。RAID 4的每一笔传输﹝Strip﹞资料较长,而且可以执行Overlapped I/O,因此其读取的性能很好。

  但是由于使用单一专属的Parity Disk 来存放Parity Data,因此在写入时,就会造成很大的瓶颈。因此,RAID 4并没有被广泛地应用。

  RAID 5特点与应用

  RAID 5也是采取独立存取模式,但是其Parity Data 则是分散写入到各个成员磁盘驱动器,因此,除了具备Overlapped I/O 多任务性能之外,同时也脱离如RAID 4单一专属Parity Disk的写入瓶颈。但是,RAI?D 5在座资料写入时,仍然稍微受到"读、改、写过程"的拖累。

  由于RAID 5 可以执行Overlapped I/O 多任务,因此当RAID 5的成员磁盘驱动器数目越多,其性能也就越高,因为一个磁盘驱动器再一个时间只能执行一个 Thread,所以磁盘驱动器越多,可以Overlapped 的Thread 就越多,当然性能就越高。但是反过来说,磁盘驱动器越多,数组中可能有磁盘驱动器故障的机率就越高,整个数组的可靠度,或MTDL (Mean Time to Data Loss) 就会降低。

  由于RAID 5将Parity Data 分散存在各个磁盘驱动器,因此很符合XOR技术的特性。例如,当同时有好几个写入要求发生时,这些要写入的数据以及Parity Data 可能都分散在不同的成员磁盘驱动器,因此RAID 控制器可以充分利用Overlapped I/O,同时让好几个磁盘驱动器分别作存取工作,如此,数组的整体性能就会提高很多。

  基本上来说,多人多任务的环境,存取频繁,数据量不是很大的应用,都适合选用RAID 5 架构,例如企业档案服务器、WEB 服务器、在线交易系统、电子商务等应用,都是数据量小,存取频繁的应用。

  RAID 0+1﹝RAID 10﹞

  RAID 0+1/RAID 10,综合了RAID 0 和 RAID 1的优点,适合用在速度需求高,又要完全容错,当然经费也很多的应用。RAID 0和RAID 1的原理很简单,合起来之后还是很简单,我们不打算详细介绍,倒是要谈谈,RAID 0+1到底应该是RAID 0 over RAID 1,还是RAID 1 over RAID 0,也就是说,是把多个RAID 1 做成RAID 0,还是把多个RAID 0 做成RAID 1?

RAID 0 over RAID 1

  假设我们有四台磁盘驱动器,每两台磁盘驱动器先做成RAID 1,再把两个RAID 1做成RAID 0,这就是RAID 0 over RAID 1:

  (RAID 1) A = Drive A1 + Drive A2 (Mirrored)
  (RAID 1) B = Drive B1 + Drive B2 (Mirrored)
  RAID 0 = (RAID 1) A + (RAID 1) B (Striped)

  RAID 1 over RAID 0

  假设我们有六台磁盘驱动器,每两台磁盘驱动器先做成RAID 0,再把两个RAID 0做成RAID 1,这就是RAID 0 over RAID 1:

  (RAID 0) A = Drive A1 + Drive A2 (Striped)
  (RAID 0) B = Drive B1 + Drive B2 (Striped)
  RAID 1 = (RAID 1) A + (RAID 1) B (Mirrored)

  在这种架构之下,如果 (RAID 0) A有一台磁盘驱动器故障,(RAID 0) A就算毁了,当然RAID 1仍然可以正常工作;如果这时 (RAID 0) B也有一台磁盘驱动器故障,(RAID 0) B也就算毁了,此时RAID 1的两磁盘驱动器都算故障,整个RAID 1资料就毁了。

  因此,RAID 0 OVER RAID 1应该比RAID 1 OVER RAID 0具备比较高的可靠度。所以我们建议,当采用RAID 0+1/RAID 10架构时,要先作RAID 1,再把数个RAID 1做成RAID 0。

走近存储管理软件

在一套完整的存储解决方案中,如何确保所有企业数据能够得到可靠备份,及时进行灾难恢复,这都是存储管理软件的主要任务。
 
 存储管理软件的功能
 
 存储管理软件按功能来说分为如下三类:
 1. 存储管理软件的核心功能是对数据和应用进行备份和恢复。很多存储管理软件厂商的主打产品都是备份与恢复解决方案。
 2.改进系统和应用I/O性能及存储管理能力。如卷管理器(Volume Manager)、文件系统(File System)、Quick I/O、Cache I/O 等都是用来实现该功能的。
 3.提高数据和应用系统的高可用性, 减少由于各种原因中断数据存取或者应用系统宕机的时间,实现技术有分级存储管理(HSM)、Cluster Server(集群服务器)等。
 
 存储管理软件的相关技术
 
 存储管理的基础:Volume Manager和File System
 
 Volume Manager
 
 Volume Manager为企业的应用提供了磁盘和存储设备在线管理。Volume Manager提供虚拟设备机制(即逻辑卷),向用户应用和文件系统提供完全透明的设备在线管理,应用程序和文件系统无须直接管理物理设备,数据的安全性、完整性、I/O性能的调整、设备在线扩展由Volume Manager管理机制实现。另外,服务器进行在线管理,不必因备份和维护而进行脱机。
 
 1. 增强了系统和应用的性能
 
 Volume Manager提供了一些能识别和分析存储访问模式的工具,所以通过复杂的磁盘配置能均衡I/O负载,在不影响应用的同时能够优化应用数据的布局。多数据通路(DMP)特性可自动识别同一物理存储的多条通路,提供自动负载均衡和确保数据传输的连续能力。数据镜像功能将数据镜像到快速存储设备,可以加速对关键信息的访问,确保关键数据的高可用性。DRL(Dirty Region Logging)日志管理保证了系统故障时的快速恢复。Volume Manager可将数据条形散放到多个物理盘上(RAID-0)以提高性能,同时还具有在不中断应用的情况下,识别和消除性能瓶颈的能力。
 
 2. 减少系统中断时间增加数据完整性
 
 Volume Manager允许对磁盘进行在线的管理和更改配置,包括从RAID的一种模式到另一种模式,因此减少了对系统产生极大影响的停机时间。它利用冗余技术提高数据可用性,在磁盘与硬件出现故障时,可以保护数据不致丢失和破坏。
 
 File System
 
 File System是可快速恢复的日志式文件系统,它提供了关键应用所需的高性能和易管理性。 File System以连续的高可用性、大大增加的带宽和结构完整性来加强Unix文件的管理。它提供了可伸缩的性能和容量,以此来满足用户不断增长的需求。
 
 1. 提高了用户和管理员的生产效率
 
 File System在不间断数据访问的条件下,可对文件做在线备份。另外,File System在系统重启或崩溃后几秒钟内就能使数据可访问并恢复文件,从而大大减少了因系统崩溃或重启所需的恢复时间。数据的高可用性为所有用户和管理员带来了更高的效率。
 
 2. 可靠的系统数据解决方案
 
 File System将未完成的数据记录在一个事件日志中,在系统崩溃时,恢复程序会用事件日志来重现这些未完成的变动,保证了系统的完整性。此外,该特性还大大减少了系统恢复的时间,因为此时系统的恢复时间是基于事件日志的大小而不是基于文件系统的大小。
 
 3. 简单和更强大的存储管理
 
 在线管理的特性包括文件系统的备份、碎片整理和动态改变文件系统的大小。文件系统的动态修改包括增大和缩小。除了文件系统管理之外,File System能让管理员去控制文件的部分属性,进行更深入的控制。
 
 Volume Manager和File System都工作在操作系统一级,可实现集群与故障恢复、自动管理、备份与HSM以及基于浏览器的远程管理等。两者有机结合后,利用双方特有的对磁盘和数据的管理能力,能给企业的系统提供尽可能高的性能、可用性及可管理性。
 
 备份:存储管理的核心
 
 备份是所有存储管理架构的核心。备份就是所定义的数据和应用的副本,在某一时间的最佳存在。备份副本与营运资料分开储存,通常在磁带或其他可移动的媒体,还可能储存在信息中心的外面以便在灾害时能够留存。
 
 要了解备份技术,必须先将备份作业分成几个主要组件。
 
 1.备份终端计算机:包含要备份的资料的计算机系统,通常包括应用软件、数据库或文件服务。
 
 2.备份服务器:进行备份与保存历史资料的系统。备份服务器有两种:主要备份服务器,排定备份与恢复作业并保存备份副本的目录,执行这些功能的主要备份服务器软件称为备份管理软件;媒体服务器,依照主要备份服务器之要求,将资料备份至备份储存设备,备份储存设备就连接在媒体服务器上。
 
 3.备份储存设备:由媒体服务器所控制的磁带、磁盘阵列等。
 
 成功的备份作业必须通过备份终端计算机、主要备份服务器与媒体服务器的协同工作。备份终端计算机会将需要备份的档案信息传送至主要备份服务器,将来自线上扇区的资料传送至媒体服务器;备份管理软件会依据备份排程开始并监控备份工作;媒体服务器会选择一或多个备份储存单位,选择和加载媒体,透过网络接收终端计算机的资料,然后写入备份媒体。
 
 在小企业里,上述三种备份功能全都由一台计算机执行,该计算机同时也是应用软件服务器。由于模块化备份管理架构,各功能可以分配至专用服务器,以顺应业务成长或需求变化,而无需中断预先定义的备份程序。
 
 目前,主要的备份方式包括:完整备份,用来备份所有选择的文件和数据;差异增量备份,用来备份与前一次备份异动的部份;累积增量备份,用来备份与前一次完整备份异动的部份。
 
 完整、累积与差异备份可以互相搭配,以平衡备份对作业的冲击,以及恢复完整文件系统或数据库所需的时间。
 
 随着企业日趋成长,历史资料就会堆积如山。每月、每季与年度结算报告、销售、生产、交货与服务记录以及其他的资料都必须保存,但通常不必在线上,而可以运用备份软件将这些资料归档。在功能上,归档作业与备份作业相同。指定的资料对象依照排定日程被复制到备份媒体,并加以分类以便以后能够立刻被找到。而归档则与备份有些差异,也就是一旦归档完成,那么线上资料就会被删除,腾出空间以供其他用途。
 
 当用户使用自动化磁带库时,所有的归档动作都会自动执行,完全无需系统管理者或计算机操作人员介入。
 
 归档与备份的另一个差异是,归档没有到期问题。当备份软件创造备份副本时,就会随附一个有效期限。超过有效期限之后,该副本就会被视为没有价值,而储存该副本的媒体就会被移作他用。在另一方面,归档则被当作长期的商业记录。因此,备份软件不会指定归档副本的有效期限。
 
 集群软件:保障系统高可用
 
 集群就是一组互相连接的计算机与存储设备,通过整合作业以获得更佳的性能。集群通常用于加强应用软件的可用性与可扩展性。某些集群架构技术会加入单一系统印象的概念,可从单点以单一系统的方式来管理多台计算机。
 
 集群服务器可支持多达上百台互相连接的服务器,结合为松散结合的单位来执行作业,保护彼此的应用软件免于故障。对某些应用软件而言,集群服务器可以在不同的计算机上执行多个程序实例,使整体生产力超过单一计算机的能力。由于集群服务器可完全整合应用软件服务架构,因此可建置高效的应用软件执行环境,即使整个系统出现故障,终端计算机都还可以使用几乎所有的应用软件。
 
 集群包括两台到上百个服务器,执行集群服务器软件。集群服务器软件包括下列功能的组件。
 1.引擎:为监控运行于所有集群服务器中的所有程序之状态的实时处理装置,可依据管理策略(例如故障恢复)来调整运行状态加以变更通信模块,运用特定的低延迟通信协议,联络其他的集群服务器程序、负载平衡以及持续监控集群通信连接的状态。
 2.编译器:用来读取以基础语言编写的资源依存图,并加以翻译让引擎了解。
 3.负载计算器:用以估计本地计算机的负载,协助集群引擎指派应用软件服务至集群内的计算机,使所有具备可用资源的应用软件负载获得平衡。
 4. 代理:集群中各种类型资源的代理。
 5. 指令与图形化系统管理接口。
 
 集群化运算环境的最大优势是卓越的数据处理能力。原则上,任何类型的多重主机架构存储设备,包括直接连接的磁盘,都可以用来当作集群数据存储设备。为求最大的系统可用性,最适合使用拥有多重主机存取路径的容错或高可用性存储子系统。
 
 HSM:数据管理分级别
 
 HSM 软件能够通过自动进行数据迁移和回迁降低总体成本,它提供了一种控制存储管理的方法。HSM 根据两级或三级体系将动态迁移/回迁的数据分类。在三级配置中,一级是24×7小时都必须可用的数据;二级是需要周期性访问而不需要24×7小时可用的数据;三级是不常访问的归档数据。在硬件层,一级数据保存在网络服务器上,二级数据迁移到光盘库之类的近处存储设备上,而三级数据则归档到磁带库。
 
 HSM 软件根据管理员所定义的规则集来管理服务器上数据。HSM的灵活性允许这些规则集符合某些特定业务需求。某年或某种类型的文件可以根据已定义的规则动态地从服务器迁移走而不需要管理员干预。另外,通过设置界限,当卷大小或服务器负载超过管理员设定的水平时就迁移文件,从而实现服务器峰值负载均衡。
 
 一些HSM软件将文件跟踪功能嵌入在操作系统目录中,并利用目录指针指向文件位置。当文件被迁移时,指针就指向新位置。指针系统对于用户来说是透明的,他们访问已迁移的文件如同访问服务器上的文件一样,只需要简单点击文件。目录中的指针定位文件并自动回迁到服务器的硬盘中。即使已经迁移到离线存储设备中的文件在目录中也有指针。在用户选择文件的同时,HSM软件向管理员发出警告通知他要将文件从哪个媒介回迁到服务器上。
 
 尽管HSM不是数据备份或恢复的方法,但是它能够最小化直接影响备份过程的服务器上的数据量。HSM 迁移/回迁的一个关键优势是整个过程对于用户来说是无缝的。在理想环境中,不同级别的数据迁移/回迁是透明的,用户访问的的是虚拟的硬盘。
 
 如何选择存储管理软件
 
 旺盛的需求使得存储管理软件市场的增长非常迅速。特别是1999年世界存储软件市场呈爆炸式增长,市场总额达到42亿美元,较1998年上升了47%。同时,这一市场将继续繁荣,据预测,到2004年市场总额将达147亿美元。
 
 目前除了VERITAS、CA、Legato、BMC这些专业软件厂商之外,各大存储硬件厂商也都有自己的存储管理软件,如:IBM、HP、COMPAQ、SUN、EMC等。
 
 面对如此众多的产品,用户应如何选择呢?首先用户在选择存储管理软件之前,应明确自己的需求,了解需要进行备份和恢复的数据的重要性以及今后一、两年内所要面临的问题,其次就是需要关注产品的以下几个方面。
 1.能够支持各种存储设备、操作系统和应用软件。一个企业的网络环境往往是涉及到多种存储设备,包括了各种操作平台,如Windows NT/2000、Unix、Netware等,并安装了数据库及各种应用软件,如群件系统、ERP系统等,用户选择的存储管理软件应该能够兼容各种存储设备,支持各种操作系统、数据库和典型应用,并提供通用的API。
 2.功能强大的备份软件。备份软件作为存储管理的核心,其好坏关系到整个存储方案能否成功。存储管理软件应该根据用户的实际需求,定义需要备份的数据,然后以图形界面方式根据需要设置备份时间表,支持各种备份方式。
 3.快捷的恢复过程。一个好的存储管理方案应该能够使用户恢复信息象备份一样简单,针对恢复过程中每一步为用户提供指导,保证丢失的文件通过最近期的备份正确地替换。对于比较复杂的灾难恢复来说软件应具有足够的智能化特性,能够快速且准确无误地恢复服务器的本来状态。
 4.归档管理。存储管理软件中的归档模块应使用户可以按项目定期对所有数据进行有效的归档处理,保证数据的永久可利用性。在归档过程中,用户不但可以对所归档的文件设置口令,而且可以进行加密处理,从而保证数据的安全性。
 5.安全保障。对存储备份的数据具有很高的安全保障,如防病毒能力、加密功能和恢复能力。
 6.集中管理。存储管理软件应该使用户能够对其进行集中式管理,从而避免数据分散,管理繁乱。而且存储设备可集中在主机上,不必为每台应用服务器配备存储设备。
 7.操作简单。实施存储方案的企业应用水平差异很大,进行存储管理的人员处于不同的层次,这就需要直观、操作简单的图形化用户界面。同时,存储管理软件最好有向导来提示用户完成特定任务所需要的信息,支持通过远程控制进行管理。
 8.可扩展性。Internet的发展使得企业数据增长速度不可预测,而且随时可能会增加新的数据类型和新型应用,所以存储管理软件必须具有良好的可扩展性,支持企业信息系统的快速发展。

 

RAID级别 相对优点 相对缺点
RAID 0 存取速度最快 没有容错
RAID 1 完全容错 成本高  
RAID 3 写入性能最好 没有多任务功能
RAID 4 具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈
RAID 5 具备多任务及容错功能 写入时有overhead
RAID 0+1/RAID 10 速度快、完全容错 成本高


  接下来,我们分别针对RAID 3、RAID 5以及RAID 0+1/RAID 10作深入的讨论。

  RAID 3特点与应用

  RAID 3 是将数据先做XOR 运算,产生Parity Data后,在将数据和Parity Data以并行存取模式写入成员磁盘驱动器中,因此具备并行存取模式的优点和缺点。进一步来说,RAID 3每一笔数据传输,都更新整个Stripe﹝即每一个成员磁盘驱动器相对位置的数据都一起更新﹞,因此不会发生需要把部分磁盘驱动器现有的数据读出来,与新数据作XOR运算,再写入的情况发生﹝这个情况在RAID 4和RAID 5会发生,一般称之为Read、Modify、Write Process,我们姑且译为为读、改、写过程﹞。因此,在所有RAID级别中,RAID 3的写入性能是最好的。

  RAID 3的 Parity Data 一般都是存放在一个专属的Parity Disk,但是由于每笔数据都更新整个Stripe,因此,RAID 3的 Parity Disk 并不会如RAID 4的 Parity Disk,会造成存取的瓶颈。

  RAID 3的并行存取模式,需要RAID 控制器特别功能的支持,才能达到磁盘驱动器同步控制,而且上述写入性能的优点,以目前的Caching 技术,都可以将之取代,因此一般认为RAID 3的应用,将逐渐淡出市场。

  RAID 3 以其优越的写入性能,特别适合用在大型、连续性档案写入为主的应用,例如绘图、影像、视讯编辑、多媒体、数据仓储、高速数据撷取等等。

  RAID 4特点与应用

  RAID 4 是采取独立存取模式,同时以单一专属的Parity Disk 来存放Parity Data。RAID 4的每一笔传输﹝Strip﹞资料较长,而且可以执行Overlapped I/O,因此其读取的性能很好。

  但是由于使用单一专属的Parity Disk 来存放Parity Data,因此在写入时,就会造成很大的瓶颈。因此,RAID 4并没有被广泛地应用。

  RAID 5特点与应用

  RAID 5也是采取独立存取模式,但是其Parity Data 则是分散写入到各个成员磁盘驱动器,因此,除了具备Overlapped I/O 多任务性能之外,同时也脱离如RAID 4单一专属Parity Disk的写入瓶颈。但是,RAI?D 5在座资料写入时,仍然稍微受到"读、改、写过程"的拖累。

  由于RAID 5 可以执行Overlapped I/O 多任务,因此当RAID 5的成员磁盘驱动器数目越多,其性能也就越高,因为一个磁盘驱动器再一个时间只能执行一个 Thread,所以磁盘驱动器越多,可以Overlapped 的Thread 就越多,当然性能就越高。但是反过来说,磁盘驱动器越多,数组中可能有磁盘驱动器故障的机率就越高,整个数组的可靠度,或MTDL (Mean Time to Data Loss) 就会降低。

  由于RAID 5将Parity Data 分散存在各个磁盘驱动器,因此很符合XOR技术的特性。例如,当同时有好几个写入要求发生时,这些要写入的数据以及Parity Data 可能都分散在不同的成员磁盘驱动器,因此RAID 控制器可以充分利用Overlapped I/O,同时让好几个磁盘驱动器分别作存取工作,如此,数组的整体性能就会提高很多。

  基本上来说,多人多任务的环境,存取频繁,数据量不是很大的应用,都适合选用RAID 5 架构,例如企业档案服务器、WEB 服务器、在线交易系统、电子商务等应用,都是数据量小,存取频繁的应用。

  RAID 0+1﹝RAID 10﹞

  RAID 0+1/RAID 10,综合了RAID 0 和 RAID 1的优点,适合用在速度需求高,又要完全容错,当然经费也很多的应用。RAID 0和RAID 1的原理很简单,合起来之后还是很简单,我们不打算详细介绍,倒是要谈谈,RAID 0+1到底应该是RAID 0 over RAID 1,还是RAID 1 over RAID 0,也就是说,是把多个RAID 1 做成RAID 0,还是把多个RAID 0 做成RAID 1?

RAID 0 over RAID 1

  假设我们有四台磁盘驱动器,每两台磁盘驱动器先做成RAID 1,再把两个RAID 1做成RAID 0,这就是RAID 0 over RAID 1:

  (RAID 1) A = Drive A1 + Drive A2 (Mirrored)
  (RAID 1) B = Drive B1 + Drive B2 (Mirrored)
  RAID 0 = (RAID 1) A + (RAID 1) B (Striped)

  RAID 1 over RAID 0

  假设我们有六台磁盘驱动器,每两台磁盘驱动器先做成RAID 0,再把两个RAID 0做成RAID 1,这就是RAID 0 over RAID 1:

  (RAID 0) A = Drive A1 + Drive A2 (Striped)
  (RAID 0) B = Drive B1 + Drive B2 (Striped)
  RAID 1 = (RAID 1) A + (RAID 1) B (Mirrored)

  在这种架构之下,如果 (RAID 0) A有一台磁盘驱动器故障,(RAID 0) A就算毁了,当然RAID 1仍然可以正常工作;如果这时 (RAID 0) B也有一台磁盘驱动器故障,(RAID 0) B也就算毁了,此时RAID 1的两磁盘驱动器都算故障,整个RAID 1资料就毁了。

  因此,RAID 0 OVER RAID 1应该比RAID 1 OVER RAID 0具备比较高的可靠度。所以我们建议,当采用RAID 0+1/RAID 10架构时,要先作RAID 1,再把数个RAID 1做成RAID 0。

走近存储管理软件

在一套完整的存储解决方案中,如何确保所有企业数据能够得到可靠备份,及时进行灾难恢复,这都是存储管理软件的主要任务。
 
 存储管理软件的功能
 
 存储管理软件按功能来说分为如下三类:
 1. 存储管理软件的核心功能是对数据和应用进行备份和恢复。很多存储管理软件厂商的主打产品都是备份与恢复解决方案。
 2.改进系统和应用I/O性能及存储管理能力。如卷管理器(Volume Manager)、文件系统(File System)、Quick I/O、Cache I/O 等都是用来实现该功能的。
 3.提高数据和应用系统的高可用性, 减少由于各种原因中断数据存取或者应用系统宕机的时间,实现技术有分级存储管理(HSM)、Cluster Server(集群服务器)等。
 
 存储管理软件的相关技术
 
 存储管理的基础:Volume Manager和File System
 
 Volume Manager
 
 Volume Manager为企业的应用提供了磁盘和存储设备在线管理。Volume Manager提供虚拟设备机制(即逻辑卷),向用户应用和文件系统提供完全透明的设备在线管理,应用程序和文件系统无须直接管理物理设备,数据的安全性、完整性、I/O性能的调整、设备在线扩展由Volume Manager管理机制实现。另外,服务器进行在线管理,不必因备份和维护而进行脱机。
 
 1. 增强了系统和应用的性能
 
 Volume Manager提供了一些能识别和分析存储访问模式的工具,所以通过复杂的磁盘配置能均衡I/O负载,在不影响应用的同时能够优化应用数据的布局。多数据通路(DMP)特性可自动识别同一物理存储的多条通路,提供自动负载均衡和确保数据传输的连续能力。数据镜像功能将数据镜像到快速存储设备,可以加速对关键信息的访问,确保关键数据的高可用性。DRL(Dirty Region Logging)日志管理保证了系统故障时的快速恢复。Volume Manager可将数据条形散放到多个物理盘上(RAID-0)以提高性能,同时还具有在不中断应用的情况下,识别和消除性能瓶颈的能力。
 
 2. 减少系统中断时间增加数据完整性
 
 Volume Manager允许对磁盘进行在线的管理和更改配置,包括从RAID的一种模式到另一种模式,因此减少了对系统产生极大影响的停机时间。它利用冗余技术提高数据可用性,在磁盘与硬件出现故障时,可以保护数据不致丢失和破坏。
 
 File System
 
 File System是可快速恢复的日志式文件系统,它提供了关键应用所需的高性能和易管理性。 File System以连续的高可用性、大大增加的带宽和结构完整性来加强Unix文件的管理。它提供了可伸缩的性能和容量,以此来满足用户不断增长的需求。
 
 1. 提高了用户和管理员的生产效率
 
 File System在不间断数据访问的条件下,可对文件做在线备份。另外,File System在系统重启或崩溃后几秒钟内就能使数据可访问并恢复文件,从而大大减少了因系统崩溃或重启所需的恢复时间。数据的高可用性为所有用户和管理员带来了更高的效率。
 
 2. 可靠的系统数据解决方案
 
 File System将未完成的数据记录在一个事件日志中,在系统崩溃时,恢复程序会用事件日志来重现这些未完成的变动,保证了系统的完整性。此外,该特性还大大减少了系统恢复的时间,因为此时系统的恢复时间是基于事件日志的大小而不是基于文件系统的大小。
 
 3. 简单和更强大的存储管理
 
 在线管理的特性包括文件系统的备份、碎片整理和动态改变文件系统的大小。文件系统的动态修改包括增大和缩小。除了文件系统管理之外,File System能让管理员去控制文件的部分属性,进行更深入的控制。
 
 Volume Manager和File System都工作在操作系统一级,可实现集群与故障恢复、自动管理、备份与HSM以及基于浏览器的远程管理等。两者有机结合后,利用双方特有的对磁盘和数据的管理能力,能给企业的系统提供尽可能高的性能、可用性及可管理性。
 
 备份:存储管理的核心
 
 备份是所有存储管理架构的核心。备份就是所定义的数据和应用的副本,在某一时间的最佳存在。备份副本与营运资料分开储存,通常在磁带或其他可移动的媒体,还可能储存在信息中心的外面以便在灾害时能够留存。
 
 要了解备份技术,必须先将备份作业分成几个主要组件。
 
 1.备份终端计算机:包含要备份的资料的计算机系统,通常包括应用软件、数据库或文件服务。
 
 2.备份服务器:进行备份与保存历史资料的系统。备份服务器有两种:主要备份服务器,排定备份与恢复作业并保存备份副本的目录,执行这些功能的主要备份服务器软件称为备份管理软件;媒体服务器,依照主要备份服务器之要求,将资料备份至备份储存设备,备份储存设备就连接在媒体服务器上。
 
 3.备份储存设备:由媒体服务器所控制的磁带、磁盘阵列等。
 
 成功的备份作业必须通过备份终端计算机、主要备份服务器与媒体服务器的协同工作。备份终端计算机会将需要备份的档案信息传送至主要备份服务器,将来自线上扇区的资料传送至媒体服务器;备份管理软件会依据备份排程开始并监控备份工作;媒体服务器会选择一或多个备份储存单位,选择和加载媒体,透过网络接收终端计算机的资料,然后写入备份媒体。
 
 在小企业里,上述三种备份功能全都由一台计算机执行,该计算机同时也是应用软件服务器。由于模块化备份管理架构,各功能可以分配至专用服务器,以顺应业务成长或需求变化,而无需中断预先定义的备份程序。
 
 目前,主要的备份方式包括:完整备份,用来备份所有选择的文件和数据;差异增量备份,用来备份与前一次备份异动的部份;累积增量备份,用来备份与前一次完整备份异动的部份。
 
 完整、累积与差异备份可以互相搭配,以平衡备份对作业的冲击,以及恢复完整文件系统或数据库所需的时间。
 
 随着企业日趋成长,历史资料就会堆积如山。每月、每季与年度结算报告、销售、生产、交货与服务记录以及其他的资料都必须保存,但通常不必在线上,而可以运用备份软件将这些资料归档。在功能上,归档作业与备份作业相同。指定的资料对象依照排定日程被复制到备份媒体,并加以分类以便以后能够立刻被找到。而归档则与备份有些差异,也就是一旦归档完成,那么线上资料就会被删除,腾出空间以供其他用途。
 
 当用户使用自动化磁带库时,所有的归档动作都会自动执行,完全无需系统管理者或计算机操作人员介入。
 
 归档与备份的另一个差异是,归档没有到期问题。当备份软件创造备份副本时,就会随附一个有效期限。超过有效期限之后,该副本就会被视为没有价值,而储存该副本的媒体就会被移作他用。在另一方面,归档则被当作长期的商业记录。因此,备份软件不会指定归档副本的有效期限。
 
 集群软件:保障系统高可用
 
 集群就是一组互相连接的计算机与存储设备,通过整合作业以获得更佳的性能。集群通常用于加强应用软件的可用性与可扩展性。某些集群架构技术会加入单一系统印象的概念,可从单点以单一系统的方式来管理多台计算机。
 
 集群服务器可支持多达上百台互相连接的服务器,结合为松散结合的单位来执行作业,保护彼此的应用软件免于故障。对某些应用软件而言,集群服务器可以在不同的计算机上执行多个程序实例,使整体生产力超过单一计算机的能力。由于集群服务器可完全整合应用软件服务架构,因此可建置高效的应用软件执行环境,即使整个系统出现故障,终端计算机都还可以使用几乎所有的应用软件。
 
 集群包括两台到上百个服务器,执行集群服务器软件。集群服务器软件包括下列功能的组件。
 1.引擎:为监控运行于所有集群服务器中的所有程序之状态的实时处理装置,可依据管理策略(例如故障恢复)来调整运行状态加以变更通信模块,运用特定的低延迟通信协议,联络其他的集群服务器程序、负载平衡以及持续监控集群通信连接的状态。
 2.编译器:用来读取以基础语言编写的资源依存图,并加以翻译让引擎了解。
 3.负载计算器:用以估计本地计算机的负载,协助集群引擎指派应用软件服务至集群内的计算机,使所有具备可用资源的应用软件负载获得平衡。
 4. 代理:集群中各种类型资源的代理。
 5. 指令与图形化系统管理接口。
 
 集群化运算环境的最大优势是卓越的数据处理能力。原则上,任何类型的多重主机架构存储设备,包括直接连接的磁盘,都可以用来当作集群数据存储设备。为求最大的系统可用性,最适合使用拥有多重主机存取路径的容错或高可用性存储子系统。
 
 HSM:数据管理分级别
 
 HSM 软件能够通过自动进行数据迁移和回迁降低总体成本,它提供了一种控制存储管理的方法。HSM 根据两级或三级体系将动态迁移/回迁的数据分类。在三级配置中,一级是24×7小时都必须可用的数据;二级是需要周期性访问而不需要24×7小时可用的数据;三级是不常访问的归档数据。在硬件层,一级数据保存在网络服务器上,二级数据迁移到光盘库之类的近处存储设备上,而三级数据则归档到磁带库。
 
 HSM 软件根据管理员所定义的规则集来管理服务器上数据。HSM的灵活性允许这些规则集符合某些特定业务需求。某年或某种类型的文件可以根据已定义的规则动态地从服务器迁移走而不需要管理员干预。另外,通过设置界限,当卷大小或服务器负载超过管理员设定的水平时就迁移文件,从而实现服务器峰值负载均衡。
 
 一些HSM软件将文件跟踪功能嵌入在操作系统目录中,并利用目录指针指向文件位置。当文件被迁移时,指针就指向新位置。指针系统对于用户来说是透明的,他们访问已迁移的文件如同访问服务器上的文件一样,只需要简单点击文件。目录中的指针定位文件并自动回迁到服务器的硬盘中。即使已经迁移到离线存储设备中的文件在目录中也有指针。在用户选择文件的同时,HSM软件向管理员发出警告通知他要将文件从哪个媒介回迁到服务器上。
 
 尽管HSM不是数据备份或恢复的方法,但是它能够最小化直接影响备份过程的服务器上的数据量。HSM 迁移/回迁的一个关键优势是整个过程对于用户来说是无缝的。在理想环境中,不同级别的数据迁移/回迁是透明的,用户访问的的是虚拟的硬盘。
 
 如何选择存储管理软件
 
 旺盛的需求使得存储管理软件市场的增长非常迅速。特别是1999年世界存储软件市场呈爆炸式增长,市场总额达到42亿美元,较1998年上升了47%。同时,这一市场将继续繁荣,据预测,到2004年市场总额将达147亿美元。
 
 目前除了VERITAS、CA、Legato、BMC这些专业软件厂商之外,各大存储硬件厂商也都有自己的存储管理软件,如:IBM、HP、COMPAQ、SUN、EMC等。
 
 面对如此众多的产品,用户应如何选择呢?首先用户在选择存储管理软件之前,应明确自己的需求,了解需要进行备份和恢复的数据的重要性以及今后一、两年内所要面临的问题,其次就是需要关注产品的以下几个方面。
 1.能够支持各种存储设备、操作系统和应用软件。一个企业的网络环境往往是涉及到多种存储设备,包括了各种操作平台,如Windows NT/2000、Unix、Netware等,并安装了数据库及各种应用软件,如群件系统、ERP系统等,用户选择的存储管理软件应该能够兼容各种存储设备,支持各种操作系统、数据库和典型应用,并提供通用的API。
 2.功能强大的备份软件。备份软件作为存储管理的核心,其好坏关系到整个存储方案能否成功。存储管理软件应该根据用户的实际需求,定义需要备份的数据,然后以图形界面方式根据需要设置备份时间表,支持各种备份方式。
 3.快捷的恢复过程。一个好的存储管理方案应该能够使用户恢复信息象备份一样简单,针对恢复过程中每一步为用户提供指导,保证丢失的文件通过最近期的备份正确地替换。对于比较复杂的灾难恢复来说软件应具有足够的智能化特性,能够快速且准确无误地恢复服务器的本来状态。
 4.归档管理。存储管理软件中的归档模块应使用户可以按项目定期对所有数据进行有效的归档处理,保证数据的永久可利用性。在归档过程中,用户不但可以对所归档的文件设置口令,而且可以进行加密处理,从而保证数据的安全性。
 5.安全保障。对存储备份的数据具有很高的安全保障,如防病毒能力、加密功能和恢复能力。
 6.集中管理。存储管理软件应该使用户能够对其进行集中式管理,从而避免数据分散,管理繁乱。而且存储设备可集中在主机上,不必为每台应用服务器配备存储设备。
 7.操作简单。实施存储方案的企业应用水平差异很大,进行存储管理的人员处于不同的层次,这就需要直观、操作简单的图形化用户界面。同时,存储管理软件最好有向导来提示用户完成特定任务所需要的信息,支持通过远程控制进行管理。
 8.可扩展性。Internet的发展使得企业数据增长速度不可预测,而且随时可能会增加新的数据类型和新型应用,所以存储管理软件必须具有良好的可扩展性,支持企业信息系统的快速发展。

 

RAID级别 相对优点 相对缺点
RAID 0 存取速度最快 没有容错
RAID 1 完全容错 成本高  
RAID 3 写入性能最好 没有多任务功能
RAID 4 具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈
RAID 5 具备多任务及容错功能 写入时有overhead
RAID 0+1/RAID 10 速度快、完全容错 成本高


  接下来,我们分别针对RAID 3、RAID 5以及RAID 0+1/RAID 10作深入的讨论。

  RAID 3特点与应用

  RAID 3 是将数据先做XOR 运算,产生Parity Data后,在将数据和Parity Data以并行存取模式写入成员磁盘驱动器中,因此具备并行存取模式的优点和缺点。进一步来说,RAID 3每一笔数据传输,都更新整个Stripe﹝即每一个成员磁盘驱动器相对位置的数据都一起更新﹞,因此不会发生需要把部分磁盘驱动器现有的数据读出来,与新数据作XOR运算,再写入的情况发生﹝这个情况在RAID 4和RAID 5会发生,一般称之为Read、Modify、Write Process,我们姑且译为为读、改、写过程﹞。因此,在所有RAID级别中,RAID 3的写入性能是最好的。

  RAID 3的 Parity Data 一般都是存放在一个专属的Parity Disk,但是由于每笔数据都更新整个Stripe,因此,RAID 3的 Parity Disk 并不会如RAID 4的 Parity Disk,会造成存取的瓶颈。

  RAID 3的并行存取模式,需要RAID 控制器特别功能的支持,才能达到磁盘驱动器同步控制,而且上述写入性能的优点,以目前的Caching 技术,都可以将之取代,因此一般认为RAID 3的应用,将逐渐淡出市场。

  RAID 3 以其优越的写入性能,特别适合用在大型、连续性档案写入为主的应用,例如绘图、影像、视讯编辑、多媒体、数据仓储、高速数据撷取等等。

  RAID 4特点与应用

  RAID 4 是采取独立存取模式,同时以单一专属的Parity Disk 来存放Parity Data。RAID 4的每一笔传输﹝Strip﹞资料较长,而且可以执行Overlapped I/O,因此其读取的性能很好。

  但是由于使用单一专属的Parity Disk 来存放Parity Data,因此在写入时,就会造成很大的瓶颈。因此,RAID 4并没有被广泛地应用。

  RAID 5特点与应用

  RAID 5也是采取独立存取模式,但是其Parity Data 则是分散写入到各个成员磁盘驱动器,因此,除了具备Overlapped I/O 多任务性能之外,同时也脱离如RAID 4单一专属Parity Disk的写入瓶颈。但是,RAI?D 5在座资料写入时,仍然稍微受到"读、改、写过程"的拖累。

  由于RAID 5 可以执行Overlapped I/O 多任务,因此当RAID 5的成员磁盘驱动器数目越多,其性能也就越高,因为一个磁盘驱动器再一个时间只能执行一个 Thread,所以磁盘驱动器越多,可以Overlapped 的Thread 就越多,当然性能就越高。但是反过来说,磁盘驱动器越多,数组中可能有磁盘驱动器故障的机率就越高,整个数组的可靠度,或MTDL (Mean Time to Data Loss) 就会降低。

  由于RAID 5将Parity Data 分散存在各个磁盘驱动器,因此很符合XOR技术的特性。例如,当同时有好几个写入要求发生时,这些要写入的数据以及Parity Data 可能都分散在不同的成员磁盘驱动器,因此RAID 控制器可以充分利用Overlapped I/O,同时让好几个磁盘驱动器分别作存取工作,如此,数组的整体性能就会提高很多。

  基本上来说,多人多任务的环境,存取频繁,数据量不是很大的应用,都适合选用RAID 5 架构,例如企业档案服务器、WEB 服务器、在线交易系统、电子商务等应用,都是数据量小,存取频繁的应用。

  RAID 0+1﹝RAID 10﹞

  RAID 0+1/RAID 10,综合了RAID 0 和 RAID 1的优点,适合用在速度需求高,又要完全容错,当然经费也很多的应用。RAID 0和RAID 1的原理很简单,合起来之后还是很简单,我们不打算详细介绍,倒是要谈谈,RAID 0+1到底应该是RAID 0 over RAID 1,还是RAID 1 over RAID 0,也就是说,是把多个RAID 1 做成RAID 0,还是把多个RAID 0 做成RAID 1?

RAID 0 over RAID 1

  假设我们有四台磁盘驱动器,每两台磁盘驱动器先做成RAID 1,再把两个RAID 1做成RAID 0,这就是RAID 0 over RAID 1:

  (RAID 1) A = Drive A1 + Drive A2 (Mirrored)
  (RAID 1) B = Drive B1 + Drive B2 (Mirrored)
  RAID 0 = (RAID 1) A + (RAID 1) B (Striped)

  RAID 1 over RAID 0

  假设我们有六台磁盘驱动器,每两台磁盘驱动器先做成RAID 0,再把两个RAID 0做成RAID 1,这就是RAID 0 over RAID 1:

  (RAID 0) A = Drive A1 + Drive A2 (Striped)
  (RAID 0) B = Drive B1 + Drive B2 (Striped)
  RAID 1 = (RAID 1) A + (RAID 1) B (Mirrored)

  在这种架构之下,如果 (RAID 0) A有一台磁盘驱动器故障,(RAID 0) A就算毁了,当然RAID 1仍然可以正常工作;如果这时 (RAID 0) B也有一台磁盘驱动器故障,(RAID 0) B也就算毁了,此时RAID 1的两磁盘驱动器都算故障,整个RAID 1资料就毁了。

  因此,RAID 0 OVER RAID 1应该比RAID 1 OVER RAID 0具备比较高的可靠度。所以我们建议,当采用RAID 0+1/RAID 10架构时,要先作RAID 1,再把数个RAID 1做成RAID 0。

走近存储管理软件

在一套完整的存储解决方案中,如何确保所有企业数据能够得到可靠备份,及时进行灾难恢复,这都是存储管理软件的主要任务。
 
 存储管理软件的功能
 
 存储管理软件按功能来说分为如下三类:
 1. 存储管理软件的核心功能是对数据和应用进行备份和恢复。很多存储管理软件厂商的主打产品都是备份与恢复解决方案。
 2.改进系统和应用I/O性能及存储管理能力。如卷管理器(Volume Manager)、文件系统(File System)、Quick I/O、Cache I/O 等都是用来实现该功能的。
 3.提高数据和应用系统的高可用性, 减少由于各种原因中断数据存取或者应用系统宕机的时间,实现技术有分级存储管理(HSM)、Cluster Server(集群服务器)等。
 
 存储管理软件的相关技术
 
 存储管理的基础:Volume Manager和File System
 
 Volume Manager
 
 Volume Manager为企业的应用提供了磁盘和存储设备在线管理。Volume Manager提供虚拟设备机制(即逻辑卷),向用户应用和文件系统提供完全透明的设备在线管理,应用程序和文件系统无须直接管理物理设备,数据的安全性、完整性、I/O性能的调整、设备在线扩展由Volume Manager管理机制实现。另外,服务器进行在线管理,不必因备份和维护而进行脱机。
 
 1. 增强了系统和应用的性能
 
 Volume Manager提供了一些能识别和分析存储访问模式的工具,所以通过复杂的磁盘配置能均衡I/O负载,在不影响应用的同时能够优化应用数据的布局。多数据通路(DMP)特性可自动识别同一物理存储的多条通路,提供自动负载均衡和确保数据传输的连续能力。数据镜像功能将数据镜像到快速存储设备,可以加速对关键信息的访问,确保关键数据的高可用性。DRL(Dirty Region Logging)日志管理保证了系统故障时的快速恢复。Volume Manager可将数据条形散放到多个物理盘上(RAID-0)以提高性能,同时还具有在不中断应用的情况下,识别和消除性能瓶颈的能力。
 
 2. 减少系统中断时间增加数据完整性
 
 Volume Manager允许对磁盘进行在线的管理和更改配置,包括从RAID的一种模式到另一种模式,因此减少了对系统产生极大影响的停机时间。它利用冗余技术提高数据可用性,在磁盘与硬件出现故障时,可以保护数据不致丢失和破坏。
 
 File System
 
 File System是可快速恢复的日志式文件系统,它提供了关键应用所需的高性能和易管理性。 File System以连续的高可用性、大大增加的带宽和结构完整性来加强Unix文件的管理。它提供了可伸缩的性能和容量,以此来满足用户不断增长的需求。
 
 1. 提高了用户和管理员的生产效率
 
 File System在不间断数据访问的条件下,可对文件做在线备份。另外,File System在系统重启或崩溃后几秒钟内就能使数据可访问并恢复文件,从而大大减少了因系统崩溃或重启所需的恢复时间。数据的高可用性为所有用户和管理员带来了更高的效率。
 
 2. 可靠的系统数据解决方案
 
 File System将未完成的数据记录在一个事件日志中,在系统崩溃时,恢复程序会用事件日志来重现这些未完成的变动,保证了系统的完整性。此外,该特性还大大减少了系统恢复的时间,因为此时系统的恢复时间是基于事件日志的大小而不是基于文件系统的大小。
 
 3. 简单和更强大的存储管理
 
 在线管理的特性包括文件系统的备份、碎片整理和动态改变文件系统的大小。文件系统的动态修改包括增大和缩小。除了文件系统管理之外,File System能让管理员去控制文件的部分属性,进行更深入的控制。
 
 Volume Manager和File System都工作在操作系统一级,可实现集群与故障恢复、自动管理、备份与HSM以及基于浏览器的远程管理等。两者有机结合后,利用双方特有的对磁盘和数据的管理能力,能给企业的系统提供尽可能高的性能、可用性及可管理性。
 
 备份:存储管理的核心
 
 备份是所有存储管理架构的核心。备份就是所定义的数据和应用的副本,在某一时间的最佳存在。备份副本与营运资料分开储存,通常在磁带或其他可移动的媒体,还可能储存在信息中心的外面以便在灾害时能够留存。
 
 要了解备份技术,必须先将备份作业分成几个主要组件。
 
 1.备份终端计算机:包含要备份的资料的计算机系统,通常包括应用软件、数据库或文件服务。
 
 2.备份服务器:进行备份与保存历史资料的系统。备份服务器有两种:主要备份服务器,排定备份与恢复作业并保存备份副本的目录,执行这些功能的主要备份服务器软件称为备份管理软件;媒体服务器,依照主要备份服务器之要求,将资料备份至备份储存设备,备份储存设备就连接在媒体服务器上。
 
 3.备份储存设备:由媒体服务器所控制的磁带、磁盘阵列等。
 
 成功的备份作业必须通过备份终端计算机、主要备份服务器与媒体服务器的协同工作。备份终端计算机会将需要备份的档案信息传送至主要备份服务器,将来自线上扇区的资料传送至媒体服务器;备份管理软件会依据备份排程开始并监控备份工作;媒体服务器会选择一或多个备份储存单位,选择和加载媒体,透过网络接收终端计算机的资料,然后写入备份媒体。
 
 在小企业里,上述三种备份功能全都由一台计算机执行,该计算机同时也是应用软件服务器。由于模块化备份管理架构,各功能可以分配至专用服务器,以顺应业务成长或需求变化,而无需中断预先定义的备份程序。
 
 目前,主要的备份方式包括:完整备份,用来备份所有选择的文件和数据;差异增量备份,用来备份与前一次备份异动的部份;累积增量备份,用来备份与前一次完整备份异动的部份。
 
 完整、累积与差异备份可以互相搭配,以平衡备份对作业的冲击,以及恢复完整文件系统或数据库所需的时间。
 
 随着企业日趋成长,历史资料就会堆积如山。每月、每季与年度结算报告、销售、生产、交货与服务记录以及其他的资料都必须保存,但通常不必在线上,而可以运用备份软件将这些资料归档。在功能上,归档作业与备份作业相同。指定的资料对象依照排定日程被复制到备份媒体,并加以分类以便以后能够立刻被找到。而归档则与备份有些差异,也就是一旦归档完成,那么线上资料就会被删除,腾出空间以供其他用途。
 
 当用户使用自动化磁带库时,所有的归档动作都会自动执行,完全无需系统管理者或计算机操作人员介入。
 
 归档与备份的另一个差异是,归档没有到期问题。当备份软件创造备份副本时,就会随附一个有效期限。超过有效期限之后,该副本就会被视为没有价值,而储存该副本的媒体就会被移作他用。在另一方面,归档则被当作长期的商业记录。因此,备份软件不会指定归档副本的有效期限。
 
 集群软件:保障系统高可用
 
 集群就是一组互相连接的计算机与存储设备,通过整合作业以获得更佳的性能。集群通常用于加强应用软件的可用性与可扩展性。某些集群架构技术会加入单一系统印象的概念,可从单点以单一系统的方式来管理多台计算机。
 
 集群服务器可支持多达上百台互相连接的服务器,结合为松散结合的单位来执行作业,保护彼此的应用软件免于故障。对某些应用软件而言,集群服务器可以在不同的计算机上执行多个程序实例,使整体生产力超过单一计算机的能力。由于集群服务器可完全整合应用软件服务架构,因此可建置高效的应用软件执行环境,即使整个系统出现故障,终端计算机都还可以使用几乎所有的应用软件。
 
 集群包括两台到上百个服务器,执行集群服务器软件。集群服务器软件包括下列功能的组件。
 1.引擎:为监控运行于所有集群服务器中的所有程序之状态的实时处理装置,可依据管理策略(例如故障恢复)来调整运行状态加以变更通信模块,运用特定的低延迟通信协议,联络其他的集群服务器程序、负载平衡以及持续监控集群通信连接的状态。
 2.编译器:用来读取以基础语言编写的资源依存图,并加以翻译让引擎了解。
 3.负载计算器:用以估计本地计算机的负载,协助集群引擎指派应用软件服务至集群内的计算机,使所有具备可用资源的应用软件负载获得平衡。
 4. 代理:集群中各种类型资源的代理。
 5. 指令与图形化系统管理接口。
 
 集群化运算环境的最大优势是卓越的数据处理能力。原则上,任何类型的多重主机架构存储设备,包括直接连接的磁盘,都可以用来当作集群数据存储设备。为求最大的系统可用性,最适合使用拥有多重主机存取路径的容错或高可用性存储子系统。
 
 HSM:数据管理分级别
 
 HSM 软件能够通过自动进行数据迁移和回迁降低总体成本,它提供了一种控制存储管理的方法。HSM 根据两级或三级体系将动态迁移/回迁的数据分类。在三级配置中,一级是24×7小时都必须可用的数据;二级是需要周期性访问而不需要24×7小时可用的数据;三级是不常访问的归档数据。在硬件层,一级数据保存在网络服务器上,二级数据迁移到光盘库之类的近处存储设备上,而三级数据则归档到磁带库。
 
 HSM 软件根据管理员所定义的规则集来管理服务器上数据。HSM的灵活性允许这些规则集符合某些特定业务需求。某年或某种类型的文件可以根据已定义的规则动态地从服务器迁移走而不需要管理员干预。另外,通过设置界限,当卷大小或服务器负载超过管理员设定的水平时就迁移文件,从而实现服务器峰值负载均衡。
 
 一些HSM软件将文件跟踪功能嵌入在操作系统目录中,并利用目录指针指向文件位置。当文件被迁移时,指针就指向新位置。指针系统对于用户来说是透明的,他们访问已迁移的文件如同访问服务器上的文件一样,只需要简单点击文件。目录中的指针定位文件并自动回迁到服务器的硬盘中。即使已经迁移到离线存储设备中的文件在目录中也有指针。在用户选择文件的同时,HSM软件向管理员发出警告通知他要将文件从哪个媒介回迁到服务器上。
 
 尽管HSM不是数据备份或恢复的方法,但是它能够最小化直接影响备份过程的服务器上的数据量。HSM 迁移/回迁的一个关键优势是整个过程对于用户来说是无缝的。在理想环境中,不同级别的数据迁移/回迁是透明的,用户访问的的是虚拟的硬盘。
 
 如何选择存储管理软件
 
 旺盛的需求使得存储管理软件市场的增长非常迅速。特别是1999年世界存储软件市场呈爆炸式增长,市场总额达到42亿美元,较1998年上升了47%。同时,这一市场将继续繁荣,据预测,到2004年市场总额将达147亿美元。
 
 目前除了VERITAS、CA、Legato、BMC这些专业软件厂商之外,各大存储硬件厂商也都有自己的存储管理软件,如:IBM、HP、COMPAQ、SUN、EMC等。
 
 面对如此众多的产品,用户应如何选择呢?首先用户在选择存储管理软件之前,应明确自己的需求,了解需要进行备份和恢复的数据的重要性以及今后一、两年内所要面临的问题,其次就是需要关注产品的以下几个方面。
 1.能够支持各种存储设备、操作系统和应用软件。一个企业的网络环境往往是涉及到多种存储设备,包括了各种操作平台,如Windows NT/2000、Unix、Netware等,并安装了数据库及各种应用软件,如群件系统、ERP系统等,用户选择的存储管理软件应该能够兼容各种存储设备,支持各种操作系统、数据库和典型应用,并提供通用的API。
 2.功能强大的备份软件。备份软件作为存储管理的核心,其好坏关系到整个存储方案能否成功。存储管理软件应该根据用户的实际需求,定义需要备份的数据,然后以图形界面方式根据需要设置备份时间表,支持各种备份方式。
 3.快捷的恢复过程。一个好的存储管理方案应该能够使用户恢复信息象备份一样简单,针对恢复过程中每一步为用户提供指导,保证丢失的文件通过最近期的备份正确地替换。对于比较复杂的灾难恢复来说软件应具有足够的智能化特性,能够快速且准确无误地恢复服务器的本来状态。
 4.归档管理。存储管理软件中的归档模块应使用户可以按项目定期对所有数据进行有效的归档处理,保证数据的永久可利用性。在归档过程中,用户不但可以对所归档的文件设置口令,而且可以进行加密处理,从而保证数据的安全性。
 5.安全保障。对存储备份的数据具有很高的安全保障,如防病毒能力、加密功能和恢复能力。
 6.集中管理。存储管理软件应该使用户能够对其进行集中式管理,从而避免数据分散,管理繁乱。而且存储设备可集中在主机上,不必为每台应用服务器配备存储设备。
 7.操作简单。实施存储方案的企业应用水平差异很大,进行存储管理的人员处于不同的层次,这就需要直观、操作简单的图形化用户界面。同时,存储管理软件最好有向导来提示用户完成特定任务所需要的信息,支持通过远程控制进行管理。
 8.可扩展性。Internet的发展使得企业数据增长速度不可预测,而且随时可能会增加新的数据类型和新型应用,所以存储管理软件必须具有良好的可扩展性,支持企业信息系统的快速发展。

 

RAID级别 相对优点 相对缺点
RAID 0 存取速度最快 没有容错
RAID 1 完全容错 成本高  
RAID 3 写入性能最好 没有多任务功能
RAID 4 具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈
RAID 5 具备多任务及容错功能 写入时有overhead
RAID 0+1/RAID 10 速度快、完全容错 成本高


  接下来,我们分别针对RAID 3、RAID 5以及RAID 0+1/RAID 10作深入的讨论。

  RAID 3特点与应用

  RAID 3 是将数据先做XOR 运算,产生Parity Data后,在将数据和Parity Data以并行存取模式写入成员磁盘驱动器中,因此具备并行存取模式的优点和缺点。进一步来说,RAID 3每一笔数据传输,都更新整个Stripe﹝即每一个成员磁盘驱动器相对位置的数据都一起更新﹞,因此不会发生需要把部分磁盘驱动器现有的数据读出来,与新数据作XOR运算,再写入的情况发生﹝这个情况在RAID 4和RAID 5会发生,一般称之为Read、Modify、Write Process,我们姑且译为为读、改、写过程﹞。因此,在所有RAID级别中,RAID 3的写入性能是最好的。

  RAID 3的 Parity Data 一般都是存放在一个专属的Parity Disk,但是由于每笔数据都更新整个Stripe,因此,RAID 3的 Parity Disk 并不会如RAID 4的 Parity Disk,会造成存取的瓶颈。

  RAID 3的并行存取模式,需要RAID 控制器特别功能的支持,才能达到磁盘驱动器同步控制,而且上述写入性能的优点,以目前的Caching 技术,都可以将之取代,因此一般认为RAID 3的应用,将逐渐淡出市场。

  RAID 3 以其优越的写入性能,特别适合用在大型、连续性档案写入为主的应用,例如绘图、影像、视讯编辑、多媒体、数据仓储、高速数据撷取等等。

  RAID 4特点与应用

  RAID 4 是采取独立存取模式,同时以单一专属的Parity Disk 来存放Parity Data。RAID 4的每一笔传输﹝Strip﹞资料较长,而且可以执行Overlapped I/O,因此其读取的性能很好。

  但是由于使用单一专属的Parity Disk 来存放Parity Data,因此在写入时,就会造成很大的瓶颈。因此,RAID 4并没有被广泛地应用。

  RAID 5特点与应用

  RAID 5也是采取独立存取模式,但是其Parity Data 则是分散写入到各个成员磁盘驱动器,因此,除了具备Overlapped I/O 多任务性能之外,同时也脱离如RAID 4单一专属Parity Disk的写入瓶颈。但是,RAI?D 5在座资料写入时,仍然稍微受到"读、改、写过程"的拖累。

  由于RAID 5 可以执行Overlapped I/O 多任务,因此当RAID 5的成员磁盘驱动器数目越多,其性能也就越高,因为一个磁盘驱动器再一个时间只能执行一个 Thread,所以磁盘驱动器越多,可以Overlapped 的Thread 就越多,当然性能就越高。但是反过来说,磁盘驱动器越多,数组中可能有磁盘驱动器故障的机率就越高,整个数组的可靠度,或MTDL (Mean Time to Data Loss) 就会降低。

  由于RAID 5将Parity Data 分散存在各个磁盘驱动器,因此很符合XOR技术的特性。例如,当同时有好几个写入要求发生时,这些要写入的数据以及Parity Data 可能都分散在不同的成员磁盘驱动器,因此RAID 控制器可以充分利用Overlapped I/O,同时让好几个磁盘驱动器分别作存取工作,如此,数组的整体性能就会提高很多。

  基本上来说,多人多任务的环境,存取频繁,数据量不是很大的应用,都适合选用RAID 5 架构,例如企业档案服务器、WEB 服务器、在线交易系统、电子商务等应用,都是数据量小,存取频繁的应用。

  RAID 0+1﹝RAID 10﹞

  RAID 0+1/RAID 10,综合了RAID 0 和 RAID 1的优点,适合用在速度需求高,又要完全容错,当然经费也很多的应用。RAID 0和RAID 1的原理很简单,合起来之后还是很简单,我们不打算详细介绍,倒是要谈谈,RAID 0+1到底应该是RAID 0 over RAID 1,还是RAID 1 over RAID 0,也就是说,是把多个RAID 1 做成RAID 0,还是把多个RAID 0 做成RAID 1?

RAID 0 over RAID 1

  假设我们有四台磁盘驱动器,每两台磁盘驱动器先做成RAID 1,再把两个RAID 1做成RAID 0,这就是RAID 0 over RAID 1:

  (RAID 1) A = Drive A1 + Drive A2 (Mirrored)
  (RAID 1) B = Drive B1 + Drive B2 (Mirrored)
  RAID 0 = (RAID 1) A + (RAID 1) B (Striped)

  RAID 1 over RAID 0

  假设我们有六台磁盘驱动器,每两台磁盘驱动器先做成RAID 0,再把两个RAID 0做成RAID 1,这就是RAID 0 over RAID 1:

  (RAID 0) A = Drive A1 + Drive A2 (Striped)
  (RAID 0) B = Drive B1 + Drive B2 (Striped)
  RAID 1 = (RAID 1) A + (RAID 1) B (Mirrored)

  在这种架构之下,如果 (RAID 0) A有一台磁盘驱动器故障,(RAID 0) A就算毁了,当然RAID 1仍然可以正常工作;如果这时 (RAID 0) B也有一台磁盘驱动器故障,(RAID 0) B也就算毁了,此时RAID 1的两磁盘驱动器都算故障,整个RAID 1资料就毁了。

  因此,RAID 0 OVER RAID 1应该比RAID 1 OVER RAID 0具备比较高的可靠度。所以我们建议,当采用RAID 0+1/RAID 10架构时,要先作RAID 1,再把数个RAID 1做成RAID 0。

走近存储管理软件

在一套完整的存储解决方案中,如何确保所有企业数据能够得到可靠备份,及时进行灾难恢复,这都是存储管理软件的主要任务。
 
 存储管理软件的功能
 
 存储管理软件按功能来说分为如下三类:
 1. 存储管理软件的核心功能是对数据和应用进行备份和恢复。很多存储管理软件厂商的主打产品都是备份与恢复解决方案。
 2.改进系统和应用I/O性能及存储管理能力。如卷管理器(Volume Manager)、文件系统(File System)、Quick I/O、Cache I/O 等都是用来实现该功能的。
 3.提高数据和应用系统的高可用性, 减少由于各种原因中断数据存取或者应用系统宕机的时间,实现技术有分级存储管理(HSM)、Cluster Server(集群服务器)等。
 
 存储管理软件的相关技术
 
 存储管理的基础:Volume Manager和File System
 
 Volume Manager
 
 Volume Manager为企业的应用提供了磁盘和存储设备在线管理。Volume Manager提供虚拟设备机制(即逻辑卷),向用户应用和文件系统提供完全透明的设备在线管理,应用程序和文件系统无须直接管理物理设备,数据的安全性、完整性、I/O性能的调整、设备在线扩展由Volume Manager管理机制实现。另外,服务器进行在线管理,不必因备份和维护而进行脱机。
 
 1. 增强了系统和应用的性能
 
 Volume Manager提供了一些能识别和分析存储访问模式的工具,所以通过复杂的磁盘配置能均衡I/O负载,在不影响应用的同时能够优化应用数据的布局。多数据通路(DMP)特性可自动识别同一物理存储的多条通路,提供自动负载均衡和确保数据传输的连续能力。数据镜像功能将数据镜像到快速存储设备,可以加速对关键信息的访问,确保关键数据的高可用性。DRL(Dirty Region Logging)日志管理保证了系统故障时的快速恢复。Volume Manager可将数据条形散放到多个物理盘上(RAID-0)以提高性能,同时还具有在不中断应用的情况下,识别和消除性能瓶颈的能力。
 
 2. 减少系统中断时间增加数据完整性
 
 Volume Manager允许对磁盘进行在线的管理和更改配置,包括从RAID的一种模式到另一种模式,因此减少了对系统产生极大影响的停机时间。它利用冗余技术提高数据可用性,在磁盘与硬件出现故障时,可以保护数据不致丢失和破坏。
 
 File System
 
 File System是可快速恢复的日志式文件系统,它提供了关键应用所需的高性能和易管理性。 File System以连续的高可用性、大大增加的带宽和结构完整性来加强Unix文件的管理。它提供了可伸缩的性能和容量,以此来满足用户不断增长的需求。
 
 1. 提高了用户和管理员的生产效率
 
 File System在不间断数据访问的条件下,可对文件做在线备份。另外,File System在系统重启或崩溃后几秒钟内就能使数据可访问并恢复文件,从而大大减少了因系统崩溃或重启所需的恢复时间。数据的高可用性为所有用户和管理员带来了更高的效率。
 
 2. 可靠的系统数据解决方案
 
 File System将未完成的数据记录在一个事件日志中,在系统崩溃时,恢复程序会用事件日志来重现这些未完成的变动,保证了系统的完整性。此外,该特性还大大减少了系统恢复的时间,因为此时系统的恢复时间是基于事件日志的大小而不是基于文件系统的大小。
 
 3. 简单和更强大的存储管理
 
 在线管理的特性包括文件系统的备份、碎片整理和动态改变文件系统的大小。文件系统的动态修改包括增大和缩小。除了文件系统管理之外,File System能让管理员去控制文件的部分属性,进行更深入的控制。
 
 Volume Manager和File System都工作在操作系统一级,可实现集群与故障恢复、自动管理、备份与HSM以及基于浏览器的远程管理等。两者有机结合后,利用双方特有的对磁盘和数据的管理能力,能给企业的系统提供尽可能高的性能、可用性及可管理性。
 
 备份:存储管理的核心
 
 备份是所有存储管理架构的核心。备份就是所定义的数据和应用的副本,在某一时间的最佳存在。备份副本与营运资料分开储存,通常在磁带或其他可移动的媒体,还可能储存在信息中心的外面以便在灾害时能够留存。
 
 要了解备份技术,必须先将备份作业分成几个主要组件。
 
 1.备份终端计算机:包含要备份的资料的计算机系统,通常包括应用软件、数据库或文件服务。
 
 2.备份服务器:进行备份与保存历史资料的系统。备份服务器有两种:主要备份服务器,排定备份与恢复作业并保存备份副本的目录,执行这些功能的主要备份服务器软件称为备份管理软件;媒体服务器,依照主要备份服务器之要求,将资料备份至备份储存设备,备份储存设备就连接在媒体服务器上。
 
 3.备份储存设备:由媒体服务器所控制的磁带、磁盘阵列等。
 
 成功的备份作业必须通过备份终端计算机、主要备份服务器与媒体服务器的协同工作。备份终端计算机会将需要备份的档案信息传送至主要备份服务器,将来自线上扇区的资料传送至媒体服务器;备份管理软件会依据备份排程开始并监控备份工作;媒体服务器会选择一或多个备份储存单位,选择和加载媒体,透过网络接收终端计算机的资料,然后写入备份媒体。
 
 在小企业里,上述三种备份功能全都由一台计算机执行,该计算机同时也是应用软件服务器。由于模块化备份管理架构,各功能可以分配至专用服务器,以顺应业务成长或需求变化,而无需中断预先定义的备份程序。
 
 目前,主要的备份方式包括:完整备份,用来备份所有选择的文件和数据;差异增量备份,用来备份与前一次备份异动的部份;累积增量备份,用来备份与前一次完整备份异动的部份。
 
 完整、累积与差异备份可以互相搭配,以平衡备份对作业的冲击,以及恢复完整文件系统或数据库所需的时间。
 
 随着企业日趋成长,历史资料就会堆积如山。每月、每季与年度结算报告、销售、生产、交货与服务记录以及其他的资料都必须保存,但通常不必在线上,而可以运用备份软件将这些资料归档。在功能上,归档作业与备份作业相同。指定的资料对象依照排定日程被复制到备份媒体,并加以分类以便以后能够立刻被找到。而归档则与备份有些差异,也就是一旦归档完成,那么线上资料就会被删除,腾出空间以供其他用途。
 
 当用户使用自动化磁带库时,所有的归档动作都会自动执行,完全无需系统管理者或计算机操作人员介入。
 
 归档与备份的另一个差异是,归档没有到期问题。当备份软件创造备份副本时,就会随附一个有效期限。超过有效期限之后,该副本就会被视为没有价值,而储存该副本的媒体就会被移作他用。在另一方面,归档则被当作长期的商业记录。因此,备份软件不会指定归档副本的有效期限。
 
 集群软件:保障系统高可用
 
 集群就是一组互相连接的计算机与存储设备,通过整合作业以获得更佳的性能。集群通常用于加强应用软件的可用性与可扩展性。某些集群架构技术会加入单一系统印象的概念,可从单点以单一系统的方式来管理多台计算机。
 
 集群服务器可支持多达上百台互相连接的服务器,结合为松散结合的单位来执行作业,保护彼此的应用软件免于故障。对某些应用软件而言,集群服务器可以在不同的计算机上执行多个程序实例,使整体生产力超过单一计算机的能力。由于集群服务器可完全整合应用软件服务架构,因此可建置高效的应用软件执行环境,即使整个系统出现故障,终端计算机都还可以使用几乎所有的应用软件。
 
 集群包括两台到上百个服务器,执行集群服务器软件。集群服务器软件包括下列功能的组件。
 1.引擎:为监控运行于所有集群服务器中的所有程序之状态的实时处理装置,可依据管理策略(例如故障恢复)来调整运行状态加以变更通信模块,运用特定的低延迟通信协议,联络其他的集群服务器程序、负载平衡以及持续监控集群通信连接的状态。
 2.编译器:用来读取以基础语言编写的资源依存图,并加以翻译让引擎了解。
 3.负载计算器:用以估计本地计算机的负载,协助集群引擎指派应用软件服务至集群内的计算机,使所有具备可用资源的应用软件负载获得平衡。
 4. 代理:集群中各种类型资源的代理。
 5. 指令与图形化系统管理接口。
 
 集群化运算环境的最大优势是卓越的数据处理能力。原则上,任何类型的多重主机架构存储设备,包括直接连接的磁盘,都可以用来当作集群数据存储设备。为求最大的系统可用性,最适合使用拥有多重主机存取路径的容错或高可用性存储子系统。
 
 HSM:数据管理分级别
 
 HSM 软件能够通过自动进行数据迁移和回迁降低总体成本,它提供了一种控制存储管理的方法。HSM 根据两级或三级体系将动态迁移/回迁的数据分类。在三级配置中,一级是24×7小时都必须可用的数据;二级是需要周期性访问而不需要24×7小时可用的数据;三级是不常访问的归档数据。在硬件层,一级数据保存在网络服务器上,二级数据迁移到光盘库之类的近处存储设备上,而三级数据则归档到磁带库。
 
 HSM 软件根据管理员所定义的规则集来管理服务器上数据。HSM的灵活性允许这些规则集符合某些特定业务需求。某年或某种类型的文件可以根据已定义的规则动态地从服务器迁移走而不需要管理员干预。另外,通过设置界限,当卷大小或服务器负载超过管理员设定的水平时就迁移文件,从而实现服务器峰值负载均衡。
 
 一些HSM软件将文件跟踪功能嵌入在操作系统目录中,并利用目录指针指向文件位置。当文件被迁移时,指针就指向新位置。指针系统对于用户来说是透明的,他们访问已迁移的文件如同访问服务器上的文件一样,只需要简单点击文件。目录中的指针定位文件并自动回迁到服务器的硬盘中。即使已经迁移到离线存储设备中的文件在目录中也有指针。在用户选择文件的同时,HSM软件向管理员发出警告通知他要将文件从哪个媒介回迁到服务器上。
 
 尽管HSM不是数据备份或恢复的方法,但是它能够最小化直接影响备份过程的服务器上的数据量。HSM 迁移/回迁的一个关键优势是整个过程对于用户来说是无缝的。在理想环境中,不同级别的数据迁移/回迁是透明的,用户访问的的是虚拟的硬盘。
 
 如何选择存储管理软件
 
 旺盛的需求使得存储管理软件市场的增长非常迅速。特别是1999年世界存储软件市场呈爆炸式增长,市场总额达到42亿美元,较1998年上升了47%。同时,这一市场将继续繁荣,据预测,到2004年市场总额将达147亿美元。
 
 目前除了VERITAS、CA、Legato、BMC这些专业软件厂商之外,各大存储硬件厂商也都有自己的存储管理软件,如:IBM、HP、COMPAQ、SUN、EMC等。
 
 面对如此众多的产品,用户应如何选择呢?首先用户在选择存储管理软件之前,应明确自己的需求,了解需要进行备份和恢复的数据的重要性以及今后一、两年内所要面临的问题,其次就是需要关注产品的以下几个方面。
 1.能够支持各种存储设备、操作系统和应用软件。一个企业的网络环境往往是涉及到多种存储设备,包括了各种操作平台,如Windows NT/2000、Unix、Netware等,并安装了数据库及各种应用软件,如群件系统、ERP系统等,用户选择的存储管理软件应该能够兼容各种存储设备,支持各种操作系统、数据库和典型应用,并提供通用的API。
 2.功能强大的备份软件。备份软件作为存储管理的核心,其好坏关系到整个存储方案能否成功。存储管理软件应该根据用户的实际需求,定义需要备份的数据,然后以图形界面方式根据需要设置备份时间表,支持各种备份方式。
 3.快捷的恢复过程。一个好的存储管理方案应该能够使用户恢复信息象备份一样简单,针对恢复过程中每一步为用户提供指导,保证丢失的文件通过最近期的备份正确地替换。对于比较复杂的灾难恢复来说软件应具有足够的智能化特性,能够快速且准确无误地恢复服务器的本来状态。
 4.归档管理。存储管理软件中的归档模块应使用户可以按项目定期对所有数据进行有效的归档处理,保证数据的永久可利用性。在归档过程中,用户不但可以对所归档的文件设置口令,而且可以进行加密处理,从而保证数据的安全性。
 5.安全保障。对存储备份的数据具有很高的安全保障,如防病毒能力、加密功能和恢复能力。
 6.集中管理。存储管理软件应该使用户能够对其进行集中式管理,从而避免数据分散,管理繁乱。而且存储设备可集中在主机上,不必为每台应用服务器配备存储设备。
 7.操作简单。实施存储方案的企业应用水平差异很大,进行存储管理的人员处于不同的层次,这就需要直观、操作简单的图形化用户界面。同时,存储管理软件最好有向导来提示用户完成特定任务所需要的信息,支持通过远程控制进行管理。
 8.可扩展性。Internet的发展使得企业数据增长速度不可预测,而且随时可能会增加新的数据类型和新型应用,所以存储管理软件必须具有良好的可扩展性,支持企业信息系统的快速发展。

RAID级别 相对优点 相对缺点
RAID 0 存取速度最快 没有容错
RAID 1 完全容错 成本高  
RAID 3 写入性能最好 没有多任务功能
RAID 4 具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈
RAID 5 具备多任务及容错功能 写入时有overhead
RAID 0+1/RAID 10 速度快、完全容错 成本高


  接下来,我们分别针对RAID 3、RAID 5以及RAID 0+1/RAID 10作深入的讨论。

  RAID 3特点与应用

  RAID 3 是将数据先做XOR 运算,产生Parity Data后,在将数据和Parity Data以并行存取模式写入成员磁盘驱动器中,因此具备并行存取模式的优点和缺点。进一步来说,RAID 3每一笔数据传输,都更新整个Stripe﹝即每一个成员磁盘驱动器相对位置的数据都一起更新﹞,因此不会发生需要把部分磁盘驱动器现有的数据读出来,与新数据作XOR运算,再写入的情况发生﹝这个情况在RAID 4和RAID 5会发生,一般称之为Read、Modify、Write Process,我们姑且译为为读、改、写过程﹞。因此,在所有RAID级别中,RAID 3的写入性能是最好的。

  RAID 3的 Parity Data 一般都是存放在一个专属的Parity Disk,但是由于每笔数据都更新整个Stripe,因此,RAID 3的 Parity Disk 并不会如RAID 4的 Parity Disk,会造成存取的瓶颈。

  RAID 3的并行存取模式,需要RAID 控制器特别功能的支持,才能达到磁盘驱动器同步控制,而且上述写入性能的优点,以目前的Caching 技术,都可以将之取代,因此一般认为RAID 3的应用,将逐渐淡出市场。

  RAID 3 以其优越的写入性能,特别适合用在大型、连续性档案写入为主的应用,例如绘图、影像、视讯编辑、多媒体、数据仓储、高速数据撷取等等。

  RAID 4特点与应用

  RAID 4 是采取独立存取模式,同时以单一专属的Parity Disk 来存放Parity Data。RAID 4的每一笔传输﹝Strip﹞资料较长,而且可以执行Overlapped I/O,因此其读取的性能很好。

  但是由于使用单一专属的Parity Disk 来存放Parity Data,因此在写入时,就会造成很大的瓶颈。因此,RAID 4并没有被广泛地应用。

  RAID 5特点与应用

  RAID 5也是采取独立存取模式,但是其Parity Data 则是分散写入到各个成员磁盘驱动器,因此,除了具备Overlapped I/O 多任务性能之外,同时也脱离如RAID 4单一专属Parity Disk的写入瓶颈。但是,RAI?D 5在座资料写入时,仍然稍微受到"读、改、写过程"的拖累。

  由于RAID 5 可以执行Overlapped I/O 多任务,因此当RAID 5的成员磁盘驱动器数目越多,其性能也就越高,因为一个磁盘驱动器再一个时间只能执行一个 Thread,所以磁盘驱动器越多,可以Overlapped 的Thread 就越多,当然性能就越高。但是反过来说,磁盘驱动器越多,数组中可能有磁盘驱动器故障的机率就越高,整个数组的可靠度,或MTDL (Mean Time to Data Loss) 就会降低。

  由于RAID 5将Parity Data 分散存在各个磁盘驱动器,因此很符合XOR技术的特性。例如,当同时有好几个写入要求发生时,这些要写入的数据以及Parity Data 可能都分散在不同的成员磁盘驱动器,因此RAID 控制器可以充分利用Overlapped I/O,同时让好几个磁盘驱动器分别作存取工作,如此,数组的整体性能就会提高很多。

  基本上来说,多人多任务的环境,存取频繁,数据量不是很大的应用,都适合选用RAID 5 架构,例如企业档案服务器、WEB 服务器、在线交易系统、电子商务等应用,都是数据量小,存取频繁的应用。

  RAID 0+1﹝RAID 10﹞

  RAID 0+1/RAID 10,综合了RAID 0 和 RAID 1的优点,适合用在速度需求高,又要完全容错,当然经费也很多的应用。RAID 0和RAID 1的原理很简单,合起来之后还是很简单,我们不打算详细介绍,倒是要谈谈,RAID 0+1到底应该是RAID 0 over RAID 1,还是RAID 1 over RAID 0,也就是说,是把多个RAID 1 做成RAID 0,还是把多个RAID 0 做成RAID 1?

RAID 0 over RAID 1

  假设我们有四台磁盘驱动器,每两台磁盘驱动器先做成RAID 1,再把两个RAID 1做成RAID 0,这就是RAID 0 over RAID 1:

  (RAID 1) A = Drive A1 + Drive A2 (Mirrored)
  (RAID 1) B = Drive B1 + Drive B2 (Mirrored)
  RAID 0 = (RAID 1) A + (RAID 1) B (Striped)

  RAID 1 over RAID 0

  假设我们有六台磁盘驱动器,每两台磁盘驱动器先做成RAID 0,再把两个RAID 0做成RAID 1,这就是RAID 0 over RAID 1:

  (RAID 0) A = Drive A1 + Drive A2 (Striped)
  (RAID 0) B = Drive B1 + Drive B2 (Striped)
  RAID 1 = (RAID 1) A + (RAID 1) B (Mirrored)

  在这种架构之下,如果 (RAID 0) A有一台磁盘驱动器故障,(RAID 0) A就算毁了,当然RAID 1仍然可以正常工作;如果这时 (RAID 0) B也有一台磁盘驱动器故障,(RAID 0) B也就算毁了,此时RAID 1的两磁盘驱动器都算故障,整个RAID 1资料就毁了。

  因此,RAID 0 OVER RAID 1应该比RAID 1 OVER RAID 0具备比较高的可靠度。所以我们建议,当采用RAID 0+1/RAID 10架构时,要先作RAID 1,再把数个RAID 1做成RAID 0。

走近存储管理软件

在一套完整的存储解决方案中,如何确保所有企业数据能够得到可靠备份,及时进行灾难恢复,这都是存储管理软件的主要任务。
 
 存储管理软件的功能
 
 存储管理软件按功能来说分为如下三类:
 1. 存储管理软件的核心功能是对数据和应用进行备份和恢复。很多存储管理软件厂商的主打产品都是备份与恢复解决方案。
 2.改进系统和应用I/O性能及存储管理能力。如卷管理器(Volume Manager)、文件系统(File System)、Quick I/O、Cache I/O 等都是用来实现该功能的。
 3.提高数据和应用系统的高可用性, 减少由于各种原因中断数据存取或者应用系统宕机的时间,实现技术有分级存储管理(HSM)、Cluster Server(集群服务器)等。
 
 存储管理软件的相关技术
 
 存储管理的基础:Volume Manager和File System
 
 Volume Manager
 
 Volume Manager为企业的应用提供了磁盘和存储设备在线管理。Volume Manager提供虚拟设备机制(即逻辑卷),向用户应用和文件系统提供完全透明的设备在线管理,应用程序和文件系统无须直接管理物理设备,数据的安全性、完整性、I/O性能的调整、设备在线扩展由Volume Manager管理机制实现。另外,服务器进行在线管理,不必因备份和维护而进行脱机。
 
 1. 增强了系统和应用的性能
 
 Volume Manager提供了一些能识别和分析存储访问模式的工具,所以通过复杂的磁盘配置能均衡I/O负载,在不影响应用的同时能够优化应用数据的布局。多数据通路(DMP)特性可自动识别同一物理存储的多条通路,提供自动负载均衡和确保数据传输的连续能力。数据镜像功能将数据镜像到快速存储设备,可以加速对关键信息的访问,确保关键数据的高可用性。DRL(Dirty Region Logging)日志管理保证了系统故障时的快速恢复。Volume Manager可将数据条形散放到多个物理盘上(RAID-0)以提高性能,同时还具有在不中断应用的情况下,识别和消除性能瓶颈的能力。
 
 2. 减少系统中断时间增加数据完整性
 
 Volume Manager允许对磁盘进行在线的管理和更改配置,包括从RAID的一种模式到另一种模式,因此减少了对系统产生极大影响的停机时间。它利用冗余技术提高数据可用性,在磁盘与硬件出现故障时,可以保护数据不致丢失和破坏。
 
 File System
 
 File System是可快速恢复的日志式文件系统,它提供了关键应用所需的高性能和易管理性。 File System以连续的高可用性、大大增加的带宽和结构完整性来加强Unix文件的管理。它提供了可伸缩的性能和容量,以此来满足用户不断增长的需求。
 
 1. 提高了用户和管理员的生产效率
 
 File System在不间断数据访问的条件下,可对文件做在线备份。另外,File System在系统重启或崩溃后几秒钟内就能使数据可访问并恢复文件,从而大大减少了因系统崩溃或重启所需的恢复时间。数据的高可用性为所有用户和管理员带来了更高的效率。
 
 2. 可靠的系统数据解决方案
 
 File System将未完成的数据记录在一个事件日志中,在系统崩溃时,恢复程序会用事件日志来重现这些未完成的变动,保证了系统的完整性。此外,该特性还大大减少了系统恢复的时间,因为此时系统的恢复时间是基于事件日志的大小而不是基于文件系统的大小。
 
 3. 简单和更强大的存储管理
 
 在线管理的特性包括文件系统的备份、碎片整理和动态改变文件系统的大小。文件系统的动态修改包括增大和缩小。除了文件系统管理之外,File System能让管理员去控制文件的部分属性,进行更深入的控制。
 
 Volume Manager和File System都工作在操作系统一级,可实现集群与故障恢复、自动管理、备份与HSM以及基于浏览器的远程管理等。两者有机结合后,利用双方特有的对磁盘和数据的管理能力,能给企业的系统提供尽可能高的性能、可用性及可管理性。
 
 备份:存储管理的核心
 
 备份是所有存储管理架构的核心。备份就是所定义的数据和应用的副本,在某一时间的最佳存在。备份副本与营运资料分开储存,通常在磁带或其他可移动的媒体,还可能储存在信息中心的外面以便在灾害时能够留存。
 
 要了解备份技术,必须先将备份作业分成几个主要组件。
 
 1.备份终端计算机:包含要备份的资料的计算机系统,通常包括应用软件、数据库或文件服务。
 
 2.备份服务器:进行备份与保存历史资料的系统。备份服务器有两种:主要备份服务器,排定备份与恢复作业并保存备份副本的目录,执行这些功能的主要备份服务器软件称为备份管理软件;媒体服务器,依照主要备份服务器之要求,将资料备份至备份储存设备,备份储存设备就连接在媒体服务器上。
 
 3.备份储存设备:由媒体服务器所控制的磁带、磁盘阵列等。
 
 成功的备份作业必须通过备份终端计算机、主要备份服务器与媒体服务器的协同工作。备份终端计算机会将需要备份的档案信息传送至主要备份服务器,将来自线上扇区的资料传送至媒体服务器;备份管理软件会依据备份排程开始并监控备份工作;媒体服务器会选择一或多个备份储存单位,选择和加载媒体,透过网络接收终端计算机的资料,然后写入备份媒体。
 
 在小企业里,上述三种备份功能全都由一台计算机执行,该计算机同时也是应用软件服务器。由于模块化备份管理架构,各功能可以分配至专用服务器,以顺应业务成长或需求变化,而无需中断预先定义的备份程序。
 
 目前,主要的备份方式包括:完整备份,用来备份所有选择的文件和数据;差异增量备份,用来备份与前一次备份异动的部份;累积增量备份,用来备份与前一次完整备份异动的部份。
 
 完整、累积与差异备份可以互相搭配,以平衡备份对作业的冲击,以及恢复完整文件系统或数据库所需的时间。
 
 随着企业日趋成长,历史资料就会堆积如山。每月、每季与年度结算报告、销售、生产、交货与服务记录以及其他的资料都必须保存,但通常不必在线上,而可以运用备份软件将这些资料归档。在功能上,归档作业与备份作业相同。指定的资料对象依照排定日程被复制到备份媒体,并加以分类以便以后能够立刻被找到。而归档则与备份有些差异,也就是一旦归档完成,那么线上资料就会被删除,腾出空间以供其他用途。
 
 当用户使用自动化磁带库时,所有的归档动作都会自动执行,完全无需系统管理者或计算机操作人员介入。
 
 归档与备份的另一个差异是,归档没有到期问题。当备份软件创造备份副本时,就会随附一个有效期限。超过有效期限之后,该副本就会被视为没有价值,而储存该副本的媒体就会被移作他用。在另一方面,归档则被当作长期的商业记录。因此,备份软件不会指定归档副本的有效期限。
 
 集群软件:保障系统高可用
 
 集群就是一组互相连接的计算机与存储设备,通过整合作业以获得更佳的性能。集群通常用于加强应用软件的可用性与可扩展性。某些集群架构技术会加入单一系统印象的概念,可从单点以单一系统的方式来管理多台计算机。
 
 集群服务器可支持多达上百台互相连接的服务器,结合为松散结合的单位来执行作业,保护彼此的应用软件免于故障。对某些应用软件而言,集群服务器可以在不同的计算机上执行多个程序实例,使整体生产力超过单一计算机的能力。由于集群服务器可完全整合应用软件服务架构,因此可建置高效的应用软件执行环境,即使整个系统出现故障,终端计算机都还可以使用几乎所有的应用软件。
 
 集群包括两台到上百个服务器,执行集群服务器软件。集群服务器软件包括下列功能的组件。
 1.引擎:为监控运行于所有集群服务器中的所有程序之状态的实时处理装置,可依据管理策略(例如故障恢复)来调整运行状态加以变更通信模块,运用特定的低延迟通信协议,联络其他的集群服务器程序、负载平衡以及持续监控集群通信连接的状态。
 2.编译器:用来读取以基础语言编写的资源依存图,并加以翻译让引擎了解。
 3.负载计算器:用以估计本地计算机的负载,协助集群引擎指派应用软件服务至集群内的计算机,使所有具备可用资源的应用软件负载获得平衡。
 4. 代理:集群中各种类型资源的代理。
 5. 指令与图形化系统管理接口。
 
 集群化运算环境的最大优势是卓越的数据处理能力。原则上,任何类型的多重主机架构存储设备,包括直接连接的磁盘,都可以用来当作集群数据存储设备。为求最大的系统可用性,最适合使用拥有多重主机存取路径的容错或高可用性存储子系统。
 
 HSM:数据管理分级别
 
 HSM 软件能够通过自动进行数据迁移和回迁降低总体成本,它提供了一种控制存储管理的方法。HSM 根据两级或三级体系将动态迁移/回迁的数据分类。在三级配置中,一级是24×7小时都必须可用的数据;二级是需要周期性访问而不需要24×7小时可用的数据;三级是不常访问的归档数据。在硬件层,一级数据保存在网络服务器上,二级数据迁移到光盘库之类的近处存储设备上,而三级数据则归档到磁带库。
 
 HSM 软件根据管理员所定义的规则集来管理服务器上数据。HSM的灵活性允许这些规则集符合某些特定业务需求。某年或某种类型的文件可以根据已定义的规则动态地从服务器迁移走而不需要管理员干预。另外,通过设置界限,当卷大小或服务器负载超过管理员设定的水平时就迁移文件,从而实现服务器峰值负载均衡。
 
 一些HSM软件将文件跟踪功能嵌入在操作系统目录中,并利用目录指针指向文件位置。当文件被迁移时,指针就指向新位置。指针系统对于用户来说是透明的,他们访问已迁移的文件如同访问服务器上的文件一样,只需要简单点击文件。目录中的指针定位文件并自动回迁到服务器的硬盘中。即使已经迁移到离线存储设备中的文件在目录中也有指针。在用户选择文件的同时,HSM软件向管理员发出警告通知他要将文件从哪个媒介回迁到服务器上。
 
 尽管HSM不是数据备份或恢复的方法,但是它能够最小化直接影响备份过程的服务器上的数据量。HSM 迁移/回迁的一个关键优势是整个过程对于用户来说是无缝的。在理想环境中,不同级别的数据迁移/回迁是透明的,用户访问的的是虚拟的硬盘。
 
 如何选择存储管理软件
 
 旺盛的需求使得存储管理软件市场的增长非常迅速。特别是1999年世界存储软件市场呈爆炸式增长,市场总额达到42亿美元,较1998年上升了47%。同时,这一市场将继续繁荣,据预测,到2004年市场总额将达147亿美元。
 
 目前除了VERITAS、CA、Legato、BMC这些专业软件厂商之外,各大存储硬件厂商也都有自己的存储管理软件,如:IBM、HP、COMPAQ、SUN、EMC等。
 
 面对如此众多的产品,用户应如何选择呢?首先用户在选择存储管理软件之前,应明确自己的需求,了解需要进行备份和恢复的数据的重要性以及今后一、两年内所要面临的问题,其次就是需要关注产品的以下几个方面。
 1.能够支持各种存储设备、操作系统和应用软件。一个企业的网络环境往往是涉及到多种存储设备,包括了各种操作平台,如Windows NT/2000、Unix、Netware等,并安装了数据库及各种应用软件,如群件系统、ERP系统等,用户选择的存储管理软件应该能够兼容各种存储设备,支持各种操作系统、数据库和典型应用,并提供通用的API。
 2.功能强大的备份软件。备份软件作为存储管理的核心,其好坏关系到整个存储方案能否成功。存储管理软件应该根据用户的实际需求,定义需要备份的数据,然后以图形界面方式根据需要设置备份时间表,支持各种备份方式。
 3.快捷的恢复过程。一个好的存储管理方案应该能够使用户恢复信息象备份一样简单,针对恢复过程中每一步为用户提供指导,保证丢失的文件通过最近期的备份正确地替换。对于比较复杂的灾难恢复来说软件应具有足够的智能化特性,能够快速且准确无误地恢复服务器的本来状态。
 4.归档管理。存储管理软件中的归档模块应使用户可以按项目定期对所有数据进行有效的归档处理,保证数据的永久可利用性。在归档过程中,用户不但可以对所归档的文件设置口令,而且可以进行加密处理,从而保证数据的安全性。
 5.安全保障。对存储备份的数据具有很高的安全保障,如防病毒能力、加密功能和恢复能力。
 6.集中管理。存储管理软件应该使用户能够对其进行集中式管理,从而避免数据分散,管理繁乱。而且存储设备可集中在主机上,不必为每台应用服务器配备存储设备。
 7.操作简单。实施存储方案的企业应用水平差异很大,进行存储管理的人员处于不同的层次,这就需要直观、操作简单的图形化用户界面。同时,存储管理软件最好有向导来提示用户完成特定任务所需要的信息,支持通过远程控制进行管理。
 8.可扩展性。Internet的发展使得企业数据增长速度不可预测,而且随时可能会增加新的数据类型和新型应用,所以存储管理软件必须具有良好的可扩展性,支持企业信息系统的快速发展。

你可能感兴趣的:(manager,集群,服务器,System,存储,磁盘)