目前磁盘存储市场上,存储分类(如下表一)根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,
AS400
等服务器,开放系统指基于包括
Windows
、
UNIX
、
Linux
等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储;开放系统的外挂存储根据连接的方式分为:直连式存储(
Direct-Attached Storage
,简称
DAS
)和网络化存储(
Fabric-Attached Storage
,简称
FAS
);开放系统的网络化存储根据传输协议又分为:网络接入存储(
Network-Attached Storage
,简称
NAS
)和存储区域网络(
Storage Area Network
,简称
SAN
)。由于目前绝大部分用户采用的是开放系统,其外挂存储占有目前磁盘存储市场的
70%
以上,因此本文主要针对开放系统的外挂存储进行论述说明。
第一个图有问题,把
NAS
和
SAN
一样放在
FAS
之下是不对的,通常也没有
FAS
这种说法,
DAS
,
NAS
和
SAN
是平行的关系。
NAS
不一定要用光纤。
NAS
是文件级存储,
SAN
和
DAS
通常是数据块级存储。
表一:
今天的存储解决方案主要为:直连式存储(
DAS
)、存储区域网络(
SAN
)、网络接入存储(
NAS
)。
如下表二:
开放系统的直连式存储(
Direct-Attached Storage
,简称
DAS
)已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百
GB
以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。
主要问题和不足为:
直连式存储依赖服务器主机操作系统进行数据的
IO
读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括
CPU
、系统
IO
等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源
20-30%
,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。
直连式存储与服务器主机之间的连接通道通常采用
SCSI
连接,带宽为
10MB/s
、
20MB/s
、
40MB/s
、
80MB/s
等,随着服务器
CPU
的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,
SCSI
通道将会成为
IO
瓶颈;服务器主机
SCSI ID
资源有限,能够建立的
SCSI
通道连接有限。
无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集
(Cluster)
,或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业
7×24
小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。
存储区域网络(
Storage Area Network
,简称
SAN
)采用光纤通道(
Fibre Channel
)技术,通过光纤通道交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。
SAN
经过十多年历史的发展,已经相当成熟,成为业界的事实标准(但各个厂商的光纤交换技术不完全相同,其服务器和
SAN
存储有兼容性的要求)。
SAN
存储采用的带宽从
100MB/s
、
200MB/s
,发展到目前的
1Gbps
、
2Gbps
。
网络接入存储(
Network-Attached Storage
,简称
NAS
)采用网络(
TCP/IP
、
ATM
、
FDDI
)技术,通过网络交换机连接存储系统和服务器主机,建立专用于数据存储的存储私网。随着
IP
网络技术的发展,网络接入存储(
NAS
)技术发生质的飞跃。早期
80
年代末到
90
年代初的
10Mbps
带宽,网络接入存储作为文件服务器存储,性能受带宽影响;后来快速以太网(
100Mbps
)、
VLAN
虚网、
Trunk(Ethernet Channel)
以太网通道的出现,网络接入存储的读写性能得到改善;
1998
年千兆以太网(
1000Mbps
)的出现和投入商用,为网络接入存储(
NAS
)带来质的变化和市场广泛认可。由于网络接入存储采用
TCP/IP
网络进行数据交换,
TCP/IP
是
IT
业界的标准协议,不同厂商的产品(服务器、交换机、
NAS
存储)只要满足协议标准就能够实现互连互通,无兼容性的要求;并且
2002
年万兆以太网(
10000Mbps
)的出现和投入商用,存储网络带宽将大大提高
NAS
存储的性能。
NAS
需求旺盛已经成为事实。首先
NAS
几乎继承了磁盘列阵的所有优点,可以将设备通过标准的网络拓扑结构连接,摆脱了服务器和异构化构架的桎梏。
其次,在企业数据量飞速膨胀中,
SAN
、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案,但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的。
NAS
正是满足这种需求的产品,在解决足够的存储和扩展空间的同时,还提供极高的性价比。因此,无论是从适用性还是
TCO
的角度来说,
NAS
自然成为多数企业,尤其是大中小企业的最佳选择。
NAS
与SAN的分析与比较
针对
I/O
是整个网络系统效率低下的瓶颈问题,专家们提出了许多种解决办法。其中抓住症结并经过实践检验为最有效的办法是:将数据从通用的应用服务器中分离出来以简化存储管理。
问题:
图
1
由图
1
可知原来存在的问题:每个新的应用服务器都要有它自己的存储器。这样造成数据处理复杂,随着应用服务器的不断增加,网络系统效率会急剧下降。
解决办法:
图
2
从图
2
可看出:将存储器从应用服务器中分离出来,进行集中管理。这就是所说的存储网络(
Storage Networks
)。
使用存储网络的好处:
统一性:形散神不散,在逻辑上是完全一体的。
实现数据集中管理,因为它们才是企业真正的命脉。
容易扩充,即收缩性很强。
具有容错功能,整个网络无单点故障。
专家们针对这一办法又采取了两种不同的实现手段,即
NAS
(
Network Attached Storage
)网络接入存储和
SAN(Storage Area Networks)
存储区域网络。
NAS
:用户通过
TCP/IP
协议访问数据,采用业界标准文件共享协议如:
NFS
、
HTTP
、
CIFS
实现共享。
SAN
:通过专用光纤通道交换机访问数据,采用
SCSI
、
FC-AL
接口。
什么是
NAS
和
SAN
的根本不同点?
NAS
和
SAN
最本质的不同就是文件管理系统在哪里。如图:
图
3
由图
3
可以看出,
SAN
结构中,文件管理系统(
FS
)还是分别在每一个应用服务器上;而
NAS
则是每个应用服务器通过网络共享协议(如:
NFS
、
CIFS
)使用同一个文件管理系统。换句话说:
NAS
和
SAN
存储系统的区别是
NAS
有自己的文件系统管理。
NAS
是将目光集中在应用、用户和文件以及它们共享的数据上。
SAN
是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是
NAS
加
SAN
。
怎样制定完善的企业网络存储备份方案
企业的运作需要大量的数据的支撑,如今,纸质的数据存储方式一去不复返,取而代之的是更易于管理和使用便捷的
网络存储
的形式。然而网络数据存储方式却存在诸多风险,数据被丢失或被破坏都可能会造成企业的日常运作无法正常进行,甚至会给企业带来不可估量的损失,而唯一可以把损失降到最低且又行之有效的方法理当首选
——
进行数据的存储备份。大部分企业都在企业也正在不断地加大投入,以寻求更具扩展性、安全性和经济性的存储备份方案,实现“有存无丢,有备无患”的目的。
一、企业网络存储备份的真面目
数据存储备份这个词已被人们所熟知,然而人们由于惯常思维的引导而误解了备份的本质。很多人把备份和拷贝这两个概念简单的划上等号,甚至把备份单纯的看做是更换磁带、为磁带编序等一个简单、程序化的操作过程;也有不少人会把双机热备份、磁盘阵列备份以及磁盘镜象备份等硬件备份的内容和数据存储备份相提并论。
实际上,数据的备份除了对原始数据完全一致的复制外,更重要的任务是其管理功能。备份管理是一个全面的概念,它不仅包含备份规则的制定和磁带的管理,而且还涉及到整个存储备份系统的规划,包括备份技术的选择、备份设备的选择、介质的选择乃至软件技术的挑选、存储网络的设计和架设等。此外,双机热备份、磁盘阵列、磁盘镜像、数据库软件的自动复制等功能并不能完全代表数据存储备份系统,因为硬件备份只是牺牲一个系统、一个设备等来实现另一个系统或另一台设备在一定时期内的安全,它们往往能解决的只是系统的可用性问题,而当所有设备因为人为因素的错误、自然灾害、
电源
故障、病毒入侵等问题而无法正常运行时,数据的恢复也就无从说起了。
大体上来说,数据存储备份是用一种容量大、具有先进自动管理功能、以经济性为原则的设备对整个系统,尤其是对整个网络系统的数据进行备份的方案。实践证明,只有数据存储备份才能为企业提供最完善的数据安全保护,因此,在原网络上增加数据存储备份管理系统和把数据存储备份管理系统列入到网络建设方案中是不容有怠的。
二、数据存储系统入选“完善”的条件
在定制数据存储方案之前,我们应该了解一个完善的数据存储系统应具备怎样的条件,大体来说,应该符合以下的四个条件:
1.
具有一个完善的面向应用和数据库的备份与恢复系统,保证在各种意外情况下能够迅速恢复数据;
2.
要对磁盘阵列上的数据文件提供镜像保护,同时增强数据文件的访问性能,提高数据文件的可管理性;
3.
可以通过集群方式保证本地业务的不中断运行;
4.
对于环境所造成的系统极端故障,应具有相应的灾难恢复策略等。
三、如何数据存储备份系统方案的定制
在定制数据存储备份方案时,我们应该在下面这些问题的引导下,制定出适合你自己企业的存储备份方案。
1.、明确目标和条件
l
你要存储的是什么,数量有多少,属于哪种类型的数据?
l
你打算如何使用这个存储系统?它是一般性存储还是用作备份或者归档?
l
你的存储系统是远程存储系统还是灾难恢复系统?
l
你正在使用的应用软件有哪些?
l
你是否希望系统是自动化管理的?
l
系统是否必须具备可调整性?
l
速度和性能的重要性如何?
2、你想要什么?
想要了解你想要什么,建议你制作一张表。表格分三栏,第一栏填写你的存储系统必须获得的特色和功能;第二栏填写想获得的特色和功能;第三栏填写不一定必须拥有,但是有就更好的特色和功能。
例如,必须获得的功能包括
“
可用性、可靠性、一定水平的性能、一定水平的容量和可调整性
”
,特别是
RAID 1
、
RAID 5
、
RAID 6
、失效转移、容错控制器、自动管理、分级存储、不同种类的驱动器。第二栏和第三栏的功能可包括:重复数据删除、自动精简配置和快照等,这些功能都是非常有用的。
接下来,你首先应将重点集中在根本问题上。如果你刚好发现一个解决方案可以满足你的所有第一栏需求,而且还可以提供部分第二栏和第三栏的功能,那么你就可以配置它。
重点是你想从一个解决方案中获得什么。
例如,一定数量的容量是必须的,那么就集中考虑这一点。
如果合规性是你的最大问题,那么就必须保证你选择的解决方案在合规性上有好的记录。如果想要一个灾难恢复解决方案,那么就把重点集中在这一点上。
四、选择合适的存储备份模式——DAS、NAS和SAN
在了解了自己需要的
网络存储
备份系统之后,就可以据此选择适合的
网络存储
模式:
1.DAS
(
Direct Attached Storage
,直接连接存储),是指将存储设备通过
SCSI
接口或光纤通道直接连接到一台计算机上。
DAS
存储的安装方便,成本较低,当价格是第一考虑因素的时候,
DAS
是不错的选择。但
DAS
依赖
服务器
主机操作系统进行数据的
IO
读写和存储维护管理,数据备份和恢复要求占用
服务器
主机资源(包括
CPU
、系统
IO
等),数据流需要回流主机再到
服务器
连接着的磁带机(库),数据备份通常占用
服务器
主机资源
20-30%
,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对
服务器
硬件的依赖性和影响就越大。对于多个
服务器
或多台
PC
的环境,使用
DAS
方式设备的初始费用可能比较低,可是这种连接方式下,每台
PC
或
服务器
单独拥有自己的存储磁盘,容量的再分配困难;对于整个环境下的存储系统管理,工作烦琐而重复,没有集中管理解决方案。所以整体的拥有成本(
TCO
)较高。
2.NAS
(
Network Attached Storage
,网络附加存储),采用网络(
TCP/IP
、
ATM
、
FDDI
)技术,通过网络
交换机
连接存储系统和
服务器
主机,建立专用于数据存储的存储私网。
由于
NAS
脱离了
服务器
的操作系统,因此其存储和备份的效率都相对传统备模式有很大提升,
使文件访问操作更为快捷;
NAS
提供的自动定时备份功能,使得数据的备份和恢复变得十分的简便;同时,
NAS
是部件级的存储方法,
相当易于部署;
满足工作组或部门级机构解决迅速增加存储容量的需求的同时,部分
NAS
品牌如
惠普
、
IBM
、自由遁、巴比禄等品牌可以提供快照和远程容灾等技术。
然而
NAS
存储的可扩展性受到设备容量大小的限制,增加
NAS
可简易地解决这一问题。
3.SAN
(
Storage Area Network
,存储区域网络),它是一种通过光纤
集线器
、光纤
路由器
、光纤
交换机
等连接设备将磁盘阵列、磁带等存储设备与相关
服务器
连接起来的高速专用子网,在该网络中提供了多主机连接,但并非通过标准的网络拓扑。
SAN
以数据存储为中心,采用可伸缩的网络拓扑结构,通过具有高传输速率的光通道的直接连接方式,
SAN
具有出色的可扩展性。
SAN
便于集成,能改善数据可用性及网络性能,而且还可以减轻管理作业。但
SAN
往往只能作到NT与有限的UNIX平台间的互操作。而且SAN中不同操作系统间文件系统和数据格式不同所带来的不兼容性,
SAN
往往只能作到NT与有限的UNIX平台间的互操作,不同操作系统间文件系统和数据格式不同会带来的不兼容性。
五、小结
当企业意识到数据的重要性之后,不断地加大投入资金,实现更好的数据存储备份解决方案便成为可能。当然,建设一个高效、可靠、易于管理的存储备份系统所需要投入的资金也非常多,企业当
“
量财而行
”
,选择合适的、经济的方案,以确保企业数据的安全。
附:DAS与NAS比较表格
网络备份存储管理系统
网络数据存储管理系统是指在分布式网络环境下,通过专业的数据存储管理软件,结合相应的硬
件和存储设备,来对全网络的数据备份进行集中管理,从而实现自动化的备份、文件归档、数据分级存储以及灾难恢复等。
为在整个网络系统内实现全自动的数据存储管理,备份服务器、备份管理软件与智能存储设备的有机结合是这一目标实现的基础。
网络数据存储管理系统的工作原理是在网络上选择一台应用服务器(当然也可以在网络中另配一台服务器作为专用的备份服务器)作为网络数据存储管理服务器,安装网络数据存储管理服务器端软件,作为整个网络的备份服务器。在备份服务器上连接一台大容量存储设备(磁盘阵列或磁带库、光盘库)。在网络中其他需要进行数据备份管理的服务器上安装备份客户端软件,通过局域网将数据集中备份管理到与备份服务器连接的存储设备上。
网络数据存储管理系统的核心是备份管理软件,通过备份软件的计划功能
,
可为整个企业建立一个完善的备份计划及策略
,
并可借助备份时的呼叫功能
,
让所有的服务器备份都能在同一时间进行。备份软件也提供完善的灾难恢复手段,能够将备份硬件的优良特性完全发挥出来
,
使备份和灾难恢复时间大大缩短,实现网络数据备份的全自动智能化管理。
备份策略
日常备份制度描述了每天的备份以什么方式、使用什么备份介质进行,是系统备份方案的具体实施细则。在制订完毕后,应严格按照制度进行日常备份,否则将无法达到备份方案的目标。数据备份有多种方式:全备份、增量备份、差分备份、按需备份等。
全备份:备份系统中所有的数据
增量备份:只备份上次备份以后有变化的数据
差分备份:只备份上次完全备份以后有变化的数据
按需备份:根据临时需要有选择地进行数据备份
全备份所需时间最长,但恢复时间最短,操作最方便,当系统中数据量不大时,采用全备份最可靠;但是随着数据量的不断增大,我们将无法每天做全备份,而只能在周末进行全备份,其它时间我们采用所用时间更少的增量备份或采用介于两者之间的差分备份。各种备份的数据量不同:全备份
>
差分备份
>
增量备份。在备份时要根据它们的特点灵活使用。
灾难恢复
灾难恢复措施在整个备份制度中占有相当重要的地位。因为它关系到系统在经历灾难后能否迅速恢复。灾难恢复操作通常可以分为两类。第一类是全盘恢复,第二类是个别文件恢复,还有一种值得一提的是重定向恢复。
A
、
全盘恢复
全盘恢复一般应用在服务器发生意外灾难导致数据全部丢失、系统崩溃或是有计划的系统升级、系统重组等,也称为系统恢复。
B
、
个别文件恢复
由于操作人员的水平不高,个别文件恢复可能要比全盘恢复常见得多,利用网络备份系统的恢复功能,我们很容易恢复受损的个别文件。只需浏览备份数据库或目录,找到该文件,触动恢复功能,软件将自动驱动存储设备,加载相应的存储媒体,然后恢复指定文件。
C
、
重定向恢复
重定向恢复是将备份的文件恢复到另一个不同的位置或系统上去,而不是进行备份操作时它们当时所在的位置。重定向恢复可以是整个系统恢复也可以是个别文件恢复。重定向恢复时需要慎重考虑,要确保系统或文件恢复后的可用性。
为了防备数据丢失,我们需要做好详细的灾难恢复计划,同时还要定期进行灾难演练。每过一段时间,应进行一次灾难演习。可以利用淘汰的机器或多余的硬盘进行灾难模拟,以熟练灾难恢复的操作过程,并检验所生成的灾难恢复软盘和灾难恢复备份是否可靠
。
三、
相关技术介绍
1
、
分级存储管理(
HSM
)技术
HSM(Hierarchical Storage Management
,分级存储管理
)
系统是一个合适的在线备份解决方案。它利用硬盘、可擦写磁光盘、磁带进行三层式存储管理。所谓分级存储管理系统是一套自动化的网络存储管理设备,会自动判断硬盘中资料的使用频率,自动将不常用的资料移至速度较慢的光盘,而最不常用的资料则移到磁带中,这些都由系统管理员自行设定。在线的资料经过一段时间的搬移后,即可达到最佳化。
在单机运行环境中,由于数据量有限,因而数据的存储备份也相对简单。但随着网络的普及和数据量的巨增,简单的备份已经无法满足需求,分级存储管理(
HSM
)也就应运而生。
HSM
主要是用于对海量数据的存储备份,当系统中有很多数据以至于不能经济有效地将它们都存放在硬盘上时,就需要使用分级存储备份技术。
通常,
HSM
是一个将硬驱、磁带驱动器和光驱组合起来的自动存储系统。其基本原则是把绝大部分最常用到的数据保留在硬盘上,而将很少使用的数据存储到数据库中或磁带和光盘上。系统随时监视文件和数据的使用情况,并且根据卷、目录对其进行实时跟踪。当数据使用率较低时,系统自动将其转移到中间存储媒介,然后存放到专用的存储介质中进行长期保存。一般情况下,直接访问硬盘上的数据文件所需时间不超过几微秒,而从磁盘或磁带库中读取数据大约需要
1
分种。
HSM
系统不仅使数据的存储备份更加容易,而且也将数据检索的时间减少到最低限度。
2
、
存储区域网(
SAN
)技术
SAN
是随着光纤通道技术的出现而产生的新一代磁盘共享系统。实际上,
SAN
就是通过集线器或交换器,把两个或更多的存储系统连接到两个或更多的服务器上。这一定义对使用什么样的互连技术、软件的功能和网络节点间必须使用什么样的协议没有进行规定。一般说来,
SAN
拥有三种主要部件:接口(包括
SCSI
、光纤通道等)、互连设备(如路由器、交换器、集线器等)和交换光纤。
SAN
的诱人之处在于它能够对一个存储网络设备中的带宽进行集中、多路复用和分散使用并且将对这个数据的访问扩展到多个平台。在
SAN
环境中,
SAN
将取代服务器实施对整个存储过程的管理和控制,服务器仅负责监督工作。
SAN
的前端设备只进行文件传输,从而使用户能获得更高的传输速率。例如,通过光纤通道可获得
100Mbps
的速率,而通过传统的
SCSI
连接只能得到
40Mbps
的速率。
四、
数据备份方案选择时依据的目标
1
、集中式管理
方案应利用集中式管理工具对整个网络的数据进行管理。系统管理员可对全网的备份策略进行统一管理,备份服务器可以监控所有机器的备份作业,也可以修改备份策略,并可即时浏览所有目录。所有数据可以备份到同备份服务器或应用服务器相连的任意一台磁盘阵列内。
2
、全自动的备份
网络备份能够实现定时自动备份,能根据用户的实际需求,定义需要备份的数据,然后以图形界面方式根据需要设置备份时间表,备份系统将自动启动备份作业,无需人工干预。
3
、支持数据库备份和恢复
4
、在线式的索引
备份系统应为每天的备份在服务器中建立在线式的索引,当用户需要恢复时,只需点取在线式索引中需要恢复的文件或数据,该系统就会自动进行文件的恢复。
5
、归档管理
用户可以按项目、时间定期对所有数据进行有效的归档处理。提供统一的
Open Tape Format
数据存储格式从而保证所有的应用数据由一个统一的数据格式来作永久的保存,保证数据的永久可利用性。
6
、系统灾难恢复
网络备份方案应能够备份系统的关键数据,在网络出现故障甚至损坏时,能够迅速地恢复网络系统。
7
、多平台支持
备份软件必须能支持多平台系统,当网络上连接上其它的应用服务器时,对于网络存储管理系统来说,只需在其上安装支持这种服务器的客户端软件即可将数据备份到磁盘阵列或带库中。