非常经典的存储学习文件

现在把我学存储备份的一些经验共享，曾经绕了不少弯道，请教了不少高手，挨了不少熊，不容易学了些东西，还不知道对不对，希望大家多纠正错误，就是这个目的了。
关于为什么要存储备份，我就不说了，见谅！

现在企业部署数据网络，一般有三中方式，先说das，das就是直接把存储设备挂在各个节点上，数据分别存放在各个节点的存储设备上，比如，一个hub接着5台pc，80G硬盘，这就叫das，其实没什么特别的，我要存文件，可以放在我的机器上，也可以放在其他机器的共享盘上，就是把分区共享，都会吧，呵呵，这就是das了，没法管理，因为太分散，每个人都可以把共享关掉，你没辙，呵呵。
再说说nas，nas其实就想当一台拥有超大硬盘容量的pc机在以太网络上放着，当成文件服务器，就这样，只不过，它单独做成和pc不一样的外观，磁盘插槽较多，一般做成raid5，一般内嵌windows storage server（有的也是普通2000的server）操作系统，响应以太网的客户请求，每台节点都能看见，当作文件服务器用，可以作为windows，unix，macos，netware等系统的网络文件系统。这就是nas。

san是与前两者截然不同的所谓的“网络”，其实不是传统意义上的网络，它只是把scsi数据线延长、用fc（光纤通道）协议封装，以便传输更快更远。并且做成交换模式而已，所以叫存储区域网络，而不是主机网络，只能跑数据流，而不像以太网络那种真正的网络，san就是一个“后方网络”，也可以叫第二网络，第一网络是lan，lan直接面对客户端请求，san的诞生是为了跑数据流更快。

以前传统的通过Lan的数据存储方式是：单独设立一台备份服务器，又称Backup Server，安装备份服务器端软件（在安装的同时，自动安装了media server，也就是说backup srever也是media server）；存储磁盘阵列或者磁带机单独连接在一台机器上，作为介质服务器（拥有备份介质的节点），安装Media Server端软件，这台介质服务器一般就是backup server兼作，除非想实施多介质服务器分流；其他需要备份数据的节点安装备份客户端软件（也称client agent代理）；在服务端制定备份策略，客户端负责与服务端的通信，包括节点的目录结构，状态等，备份开始时，服务端发起备份，客户端接受备份指令，把节点数据通过以太网lan，传给Media Server，然后Media Server主机将接受到的数据写到他连接的存储设备上。在基于LAN的备份中， 也可以有多个media server, 可以指定那些client 数据通过特定media server写到相应的存储设备上。这样，以太网将承受很大负担，不但接受访问请求通过lan，备份数据流也通过lan走，影响了性能。

现在，san的诞生解决了只有一个lan的紧张状态，使得生产前线和后台备份分开，走两个网络，互不干扰，当然也可以用第二套以太网络代替san，但是san是基于光纤链路的，速度快，一般结构是：中心一台光纤交换机，存储阵列和磁带设备都单独连接到光交换机上，磁带设备对任何节点可见，任何节点都可以访问他们（当然要装驱动），所以任何节点都拥有备份介质，都是Media Server。对于主机，要有hba卡，用于接光纤，就像用以太网卡接双绞线一样。hba卡有个wwn号，就类似与网卡的mac地址。磁盘阵列上一般要先划多组raid，划好后，划分逻辑卷大小，一个逻辑卷就叫一个lun，一般一个lun不能跨raid组，这些lun可以设定让哪些wwn（hba卡对应的号码）看到，对应的主机开机后，便会认出新加物理磁盘（其实是阵列上的lun），在aix下，lun被认成vpath。

san备份，同样需要一台备份服务器，安装服务器端软件，其他节点安Meida Server端软件，对于Veritas公司的说法，还要安装SSO选件，SSO是指：share storage option（共享存储选件，就是指san的环境），作用是用来仲裁共享的设备，因为san上的盘阵，磁带机都是对任何节点可见的，这样就需要来协调，不至于发生节点抢资源造成冲突的情况。同样服务端发起备份指令，客户端接收执行，但是这次，客户端直接将数据从本节点（media server，也是生产主机，客户机）写入备份设备，因为，san上，任何节点都能看到磁带库设备，都是Media Server，这就是所谓的lan free备份，如果有些数据可以直接从盘阵拷贝到磁带（盘阵和磁带库都独立的接到san交换机上），那么完全不用主机插手，叫做server free备份。

下面是Veritas公司各种选件说明：

1. Remote Agent (CAL)选件，就是所谓的client agent选件，包括windows、linux、netware、macos等版本。

2.介质服务器选件，安装在介质服务器上的选件。
其中又包括：

a. 中央管理服务器选件 (CASO）
为多台Backup Exec介质服务器提供简化的集中管理 。它是强大的可扩展解决方案，能够集中管理大量Backup Exec介质服务器的运行、负载平衡、容错、监控和报告。这些服务器可能位于Windows 数据中心或分布在整个网络，或者位于远程办公室。借助中央管理服务器选件，用户可以简单地增加和管理Backup Exec。

b.高级磁盘备份选件 (ADBO)
通过基于磁盘的高级备份和恢复，包括合成备份、脱机备份，可以实现更快的备份和恢复，进行零影响的备份。 合成备份可以缩短备份时间，减少网络带宽需求，而且不会影响原始客户端。此外，合成备份使用户能够从一个备份映像进行快速的客户端恢复，而无需从多盘磁带和增量备份进行恢复。脱机备份功能能够在Backup Exec介质服务器上（而不是在远程计算机或生产主机上）处理备份操作，从而提高备份性能，解放远程计算机。

c.ADVANCED OPEN FILE OPTION™ （高级打开文件选件）
确保本地或远程服务器上的文件在被使用过程中也能受到保护。VERITAS Backup Exec的Advanced Open File Option能够在卷的级别上处理打开的文件，并且无缝集成到Backup Exec软件中。使用本选件，您无需提前知道哪些文件是打开的，只需点击鼠标，设定预定备份即可。此外，它还能在一次作业中备份多个卷，利用依次创建各个逻辑卷在某个时间的快照来进行。在创建逻辑卷快照并进行备份之后，这个快照会在创建下一个逻辑卷快照之前删除。该选件提高了最小化快照所需静默时间的能力。

d.DESKTOP AND LAPTOP OPTION （台式机和笔记本选件）
大多数企业都依靠用户手动将关键业务数据复制到服务器。如果用户没有遵照执行，存储在员工工作站、台式机、笔记本电脑上的大多数关键业务信息就得不到保护。DLO能够为台式机和笔记本电脑提供持续的数据保护，无论是在办公室，还是在路途中。这种选件不仅能够改进数据保护和效率，还使用户能够恢复自己的文件，保持多台台式机和笔记本电脑之间的同步，从而使所有用户的电脑都能保持最新的文件版本。Desktop and Laptop Option不需要专用的独立服务器，能够很轻松地集成到现有的IT基础设施和策略中，从而降低总投资成本。Backup Exec内部的全新推送式安装功能可以进行软件的集中部署。

3.各种数据库代理，如oracle代理，exchange代理，notes代理，这些代理能实现针对数据库或应用软件深层的比如表结构，某封邮件进行备份，而不只是文件层次的备份。

4. INTELLIGENT DISASTER RECOVERY™ OPTION（智能灾难恢复选件）
作用类似于ghost，能利用他生成系统恢复磁带或者光盘，当系统崩溃时，直接用磁带或者光盘启动系统，进行快速恢复。

5. LIBRARY EXPANSION OPTION™（磁带库扩展选件）
任何Backup Exec介质服务器都可以连接到不限数目的独立磁带机，或者在一个物理或虚拟磁带库、自动加载磁带机、介质更换机中的物理或虚拟的磁带机。但是，要使用这些超过一个磁带机的设备时，都需要购买另外的磁带库扩展选件（LEO）来支持每一个额外的磁带机。这个就有点赖皮了，呵呵。

6. SAN SHARED STORAGE OPTION™（SAN共享存储选件）(此帖由冬瓜头qq122567712原创，转贴请注明，谢谢！痛斥剽窃行为！）
借助这种脱离LAN的强大备份解决方案，多台分布式备份服务器能够集中通过交换式光纤存储网络或iSCSI 存储区域网络（SAN）连接的存储设备，提高性能、效率和容错率。SAN Shared Storage Option能够跨越多台共享设备来实现作业（来自多台Backup Exec服务器）之间的负载平衡。它能够改进性能、备份速度和集中的介质管理，有助于降低总投资成本。SAN Shared Storage Option是一种具有突破性的解决方案，可以提高大型高端存储环境的可管理性和性能。
这个就是SSO。(

小知识：作raid需要有raid卡，raid卡的作用是协调多块硬盘之间的数据走向，计算各个raid模式下，各硬盘应走多少数据。raid卡可以是集成在主板上，也可以单独一块pci卡。有的raid卡上面带硬盘接口，比如scsi，sata，ide，硬盘必须插到卡上；而有的raid卡不硬盘带插口，插到主板上，自动接管了硬盘通道，硬盘还是接到主板上。 不要将raid卡和scsi卡弄混，scsi卡是为了解决主板上没有scsi接口而生的，scsi硬盘需要接到scsi卡上或者主板的scsi口。有的scsi卡也集成了raid功能，就是二合一卡。

1. raid0 比如有两块盘，100M的文件，现在想把文件写到盘上，可以写到任何一块盘上，比如写到A盘，耗时10秒；现在如果这样，通过计算，把100M的数据分成两个50M，每个盘各写50M，这样总耗时：5秒，是不是快了，当然实际肯定高于5秒，至少比写到一块盘快。同样读数据也是这样，从两块盘并行读，是不是也必一块盘要快呢？这就是raid0，任何大于2块数量的磁盘就可以作raid0，如果磁盘容量不一样，比如一块40G，一块80G，不会浪费任何空间（仅限raid0模式），这样两块盘作raid0，总容量最后就是40G＋80G＝120G。一般情况，raid0容量＝各个盘容量之和。raid0是所有模式中速度最快的。也是安全性最低的，因为数据都分割了存放，任意一块盘损坏，数据全部丢失。无任何安全性可言。

2. raid1 为了实现数据冗余，防止一块盘损坏，数据就全丢失的情况发生，将一份数据同时写到两块盘上，任何一块盘损坏，另一块块盘在线接管。所以raid1也叫镜像raid。是所有模式中速度最慢的，因为数据要同时写两块盘。但是安全性是最高的。无任何速度可言。任意偶数块盘就可以作raid1。如果磁盘容量不一样，最终按照容量最小的盘算。raid1总容量＝最小容量X磁盘数量÷2。

3. raid0+1(也称raid10） 比如这样：两块盘先作raid0，然后再找两块盘，将原来做好的raid0中数据复制一份到自己，与原来的raid0做成raid1；或者两块盘先作raid1，然后再找两块盘，分担数据流量，与原来的raid1做成raid0，这样就组成了raid10。这种模式是所有模式中性能和安全性都最好的一种，但是成本是最高的。

4. raid3 顾名思义raid3就是最少需要3块盘组成，原理是这样的：和raid0一样，数据分割，并行写入各个磁盘，除了其中一块磁盘，这块盘叫做奇偶校验盘（一般用P表示），单独存放奇偶校验信息，所谓奇偶校验，就是：因为数据被分割了存放，所以可以根据这些分割的数据来做一个恢复措施，利用我这边的数据和你那边的数据算出一些信息，如果任意一边数据丢失，通过另一边的现存数据和事先算好的信息，就可以再生成丢失的数据。这样，如果任何一块盘损坏，都可以根据另外的磁盘重新生成坏盘上的数据，不管损坏的是数据盘，还是校验信息盘。由于校验信息占用空间不大，所以只需一块盘就够了，信息都放在这块盘上，这样既实现了raid0的速度（比raid0稍慢），又实现了raid1的安全（raid1是纯数据的镜像，raid3是利用奇偶校验信息，占用空间小），成本又相对低廉，何乐而不为？但是如果同时（同一时刻）坏掉两块盘，数据就完了。raid3总容量＝容量总和－P盘容量。

5. raid5 raid5是raid3的升级版本。 raid3有个缺点：作为存放校验位的硬盘，工作负荷会很大，因为每次写操作，都会把生成的校验信息写入该磁盘，而其它磁盘的负荷相对较小，这会对性能有一定的影响。raid5是：当向阵列中的磁盘写数据，奇偶校验数据均匀存放在阵列中的各个盘上，其他和raid3一样。现在raid5是应用最普遍得一种模式。

小知识： 热备盘（hot spare盘，又称S盘）。刚才说了，任何模式的raid阵列，如果同一时刻坏掉两块以上得盘，数据就完了（raid0坏一块就完了），但是这种情况一般不会发生，除非人为或者不可抗力引发，那么我们就不管了吗？不行！如果某天，raid阵列有一块盘损坏，而没有采取措施（比如没有多余备用硬盘，或者周末，无人），那么过一段时间，如果又坏了一块，咋办？哭吧你就！虽然同一时刻坏多块盘的情况很少，但是同一时期坏盘的几率就很大很大，因为硬盘生产批次，所处环境都一样。那么怎么避免这种情况发生呢？热备盘就派上用场了。热备盘就是为了一块盘损坏后，无人值守情况下，自动补上坏盘的位置，数据重新生成在这块新盘上。可以设多块热备盘，有的阵列可以只设一块热备盘，供阵列中所有的raid组（就是按照一个raid模式所作的raid)使用，有的就只能每个raid组都必须设一块热备盘（IBM的就是这样）。 可能有人有个疑问：在raid5或者3中，如果一块盘坏了，坏的数据怎么继续读出？是这样的：损坏的数据是一边校验，一边传送给外部的，这样其实是很危险的，万一再坏一块盘。。。。。

6. raid5E 为了防止没有热备盘的情况下先后坏掉多块盘引起的数据丢失，一旦某块盘损坏，不像raid5，只有再请求数据读写的时候，现场生成数据流，发送给外部，这些数据没有存放起来，raid5E将损坏的数据重新校验生成，压缩存放在其他盘上的未使用的空间上（这些未使用的空间，系统是认不到的，没有参与raid的建立，没有条带化，不属于raid组），这样就和raid5＋S差不多，只是S被均匀分部到了其他盘上。这样的话，先后坏两块盘，同样能保持运行。raid5E中不存在热备盘，只是每块盘上划出一些空间，用作热备而已，所以整个raid模式还是raid5（不带S盘）级别。

7. raid5EE 与raid5E相比，raid5EE是完全携带了S盘，不过这个S盘不是真正的一块物理盘，而是均匀分部在其他盘上，S空间参与了条带化，属于整个raid组的一部分，这样恢复数据更有效率，其他和raid5E一样。

小知识：一些售前工程师专业的术语。x＋s＋p：raid5中的术语，x块盘是数据盘，一块s盘, 一块p盘（实际不是一块物理盘都是热备，p被均匀分部各盘上，而是他占用了一块盘的空间而已，严格来说，数据盘也就是x＋1块了）。



这次说说磁盘阵列柜

什么是磁盘阵列柜，就不说了，见谅！

针对不同的硬盘接口，阵列柜有不同的内部接口，比如scsi，sata，fc（光口），ssa（串行scsi接口）接口，除了内部接口（接硬盘用的），阵列柜还得有个外部接口，包括scsi，ssa，fc，iscsi接口。现在企业级用户一般用fc－fc（内接口－外接口）的盘阵.
这里终点讲讲iscsi，iscsi就是scsi over ip，将scsi协议封装到ip包中，通过lan双绞线传输，以克服scsi传输距离短的缺点，而且方式变得灵活，毕竟以太网及ip都是非常成熟的技术。iscsi分为initiaor端（发起端）和target端（目标端）。 initiaor端是主机端，适配器可以是专门的iscsi卡，价格昂贵；也可以用普通网卡，安装iscsi的initiaor驱动，用软件模拟硬件的iscsi，这个驱动微软免费提供。target端指得就是阵列端，也有用软件模拟target的，名称叫做wintarget，付费软件，装到一台主机上，主机的硬盘（不管什么接口）就成了iscsi target。

阵列柜一般由这两种柜组成：自带raid控制器的机头（server enclosure），和不带raid控制器的扩展柜（enclosure）。两种柜子里面都有一定数量的磁盘槽位。

后者只是一个柜子而已，一般作为机头（稍后讲）的扩展柜，机头可以带领多个扩展柜。如果单独用后者作为存储设备，需要主机额外购买raid控制卡，通过主机上的raid控制卡，对盘柜中的硬盘进行raid组划分，逻辑单元（lun）的划分，这个过程可以在windows环境下通过盘柜提供的管理软件来做，也可以通过提供的光盘引导主机后，进入管理界面来做（IBM的server raid盘）。一个典型的例子就是ibm的exp300扩展柜（其对应的机头是fastT系列的），外部scsi接口，主机上用6M的阵列卡（二合一），scsi接口，对其作raid控制。

前者，机头，是阵列的控制器所处的柜子，其上背板的接口分为两部分，一部分用来与扩展规作级联，扩展容量，接口类型按照型号不同，可以是scsi，fc，ssa等；另一部分用来与san交换机或者主机连接，一般是fc口，而且有多个，用来做冗余，连接到多台san交换机，或者同一个主机上的两块hba卡，这样可以做到冗余并且负载均衡。

高端一些地机头，一般都有电池后备系统，仅仅用来支持系统缓存板（一般都是G级别的）中数据缓存，以至于断电的时候不至于丢失数据，所有数据的读写都是先通过缓存，缓存容量一般1G或者2G，写数据的时候，客户发出写的命令时，其实是先写道缓存，然后阵列通知用户写动作结束，写入成功，因为是写到缓存，所以对用户来说，速度是很快的，其实，这时候，缓存正准备向磁盘写入，如果磁盘写入成功，那么缓存方能删除此次的数据，如果此时突然断电，磁盘写失败，那么缓存便知道发生灾难，电池会继续保持缓存中数据和待处理的写动作，等待来电时继续执行。对于IBM的DS6800系列，电池可以支持72小时。

DS6800机头是一个双控制器，双电池后备板，双电源，4个host access口的机头，每个控制器可以连接7个扩展柜，但是机头中的磁盘已经属于一个控制器带了，所以这个控制器在外部，还能带6个，另一个控制器带7个，所以一共是14个柜子（包括了机头），每个柜子最多放16块盘，这样一共224块盘的容量。

下面说说raid和lun的问题，因为机头上有控制器，所以，可以通过机头来管理raid，而不需要额外的raid卡。机头背面有以太网接口，可以通过以太网连接到机头，有的可以直接通过telnet就可以完成配置，有的则需要在主机上安装相应的管理软件，然后连接机头，做相应配置。机头的ip地址由厂家预先设好，可以自己改，通过串口，用超级终端通信。阵列的配置，无非就是先选好几块盘，作raid组，然后在raid组上，划分lun，大小自定；然后作group，可以是raid组group、lun group，主机group等，就和windows系统中的用户组一样，为了方便管理；然后作主机map（映射），或者叫host attachement，所谓map就是说让哪个或者哪个组（哪些）主机能看到相应的lun，或lun group，设定好map后，主机开机，便会看到分配给它的新磁盘（对应阵列上的lun），主机可以对其进行分区，格式化等常规磁盘的操作，而不必也无法关心这个lun在阵列中是由哪些盘组成的，raid类型是什么，这些都是阵列控制器关心的，上层主机是看不到的。







这次本来想说说双机，但是今天去帮网友调BE（backup exec），想把过程说说，一是为了给读者阅读，二也为了把过程记录下来，以后有用处。

周六晚上和一个网友聊天，说是周一他要给客户调BE，自己搭了个环境，练练手，说是remote agent不管是push安装（从一台机器上通过ipc共享，将安装文件及安装命令通过lan拷贝到客户机，在本机控制客户机安装），还是将安装文件拷贝到客户机，本地安装，都不能安装成功（辨别方法是：看看服务里面有没有backup exec remote agent服务启动，或者看看windows或者winnt系统目录下的日志文件中有没有报错）。 和他约好今天上午去他公司一起研究研究，由于我也是蔡鸟，欣然接受，中午还捞了顿饭，呼呼。

大致过程如下：

搭建的环境是这样的：2台pc机，其中一台安装oracle9i，作为备份客户机，需要安装remote agent以及oracle agent；另一台作为备份服务器，需要安装backup exec for windows server，同时也作为介质服务器（media server)

这个环境的安装顺序以及需要注意的问题：

1。 首先在备份服务器上，从光盘安装BEWS（backup exec for windows server），行话又称：BENT（也就是backup exec for NT enviroment）。安装的时候是这样的：
在安装界面中，先选择本地安装，BE的各个选件都有对应的序列号，搞到序列号（用算号器），输入到安装界面，添加，便会自动识别出对应的选件，首先输入BE主模块的key，然后输入remote agent和oracle agent的key，安装程序将安装BE主模块，并且在安装目录下生成“oralce”以及“rant32”两个目录，都自动设成了共享，因为这两个选件（rant32中是remote agent的安装文件，oracle中是oracle agent的安装文件）需要拷贝到客户机或者push到客户机安装。

2。 在客户机，将需要安装remote agent以及oracle agent两个选件，可以从备份服务器上远程push安装（在安装界面中选择：远程安装），也可以利用上一步生成的安装文件在本地安装。但是我们今天不管是push还是本地，都未能安装成功，日志中提示1603错误，可能是版本的问题。最后索性在数据库客户机上也安装BE主模块，remote agent服务方才启动（主模块带了remote agent功能，需要输入remote agent的key）。然后安装oracle agent，安装完成后，程序菜单中生成一个oracle agent配置程序的快键方式，这个配置程序的作用，主要有3点，第一是定义一个密码，用于备份服务器访问oracle agent时进行验证（这个密码和数据库毫无关系，完全自定义）；第二就是定义介质服务器，必须添加介质服务器（添加主机名或者ip地址），以便数据传到介质服务器上，进行备份，需要说明的是，一开始，我们没有添加任何介质服务器，导致在备份服务器上，看不到任何oracle agent发过来的回溃信息，只有在这里定义的介质服务器，才能在对应的介质服务器上看到oracle的回溃信息；第三就是定义数据库的SID，以及登陆数据库的帐号和密码，因为oracle agent必须要打开数据库进行读取操作。
所以，安装oracle agent后，必须先进行这3个配置。

配置完成后，在备份服务器上控制台中点击备份，会看到有本地和远程两大部分，其中本地部分就是备份服务器本地的硬盘目录，可以选择备份哪些；远程下面就和网上邻居差不多，浏览各个目标客户机的目录结构（由agent回溃），选中某些文件，以便进行备份。另外，如果远程客户机有oracle数据库运行，并且装了oracle agent而且已经配置好，那么在远程部分，应该出现oracle agent回溃的远端主机oracle的数据库结构（可以有多个），可以选择某些表的备份，当点选这些oracle结构时候，可能会弹出让你选择用户的对话框，这就是因为在oracle agent配置程序中配置的那个验证密码，只有通过验证，才能访问agent的回溃内容，此时可以在这个对话框中新建一个用户，密码就是在oracle agent配置程序中定义的密码，然后用此用户访问oracle agent即可。

到这里，还有一个问题没有解决，即remote agent 的安装，为什么总是报错，装了3台机器，两种系统，2000server，2003server，都报错，怎么回事。。。。。。