云备份调研报告
一、概述
对于大多数人而言,通向云计算之路是由整合企业内部功能到云基础架构开始的。相对容易的云存储服务“切入点”是整合企业内部的备份操作到云备份服务。
云备份,就是把个人数据的通讯录、短信、图片等资料通过云存储的方式备份在网络上面。是通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储备份和业务访问的功能服务。
提到数据云备份,首先考虑的是数据安全。所以说云备份的特点是:1.备份数据更加安全2.支持多平台管理3.数据传输加密更放心。
这里还要弄清楚云备份与云存储之间的区别。首先可以使用云存储来实现备份,目前的云应用无非就是备份,无论是常规备份、恢复、业务连续性、灾难恢复,还是像Amazon Zocalo、Dropbox或Box这样的文件共享服务。
在产品的部署和服务方面,以及访问的方式上,他们的架构是不同的。从它的层次角度看,传统的云存储层级较低,其它可能是备份层,它的上面还会有一些其它的东西,如文件同步共享等。
当讲到使用云来备份时,那么它的访问形式有几种。备份软件可以用于发送数据到云端,作为备份目标,或者来自于云厂商的备份软件可以用于创建恢复。有些云备份产品只针对特定的工具。
对于不同的应用,云的架构也不同。有些云存储架构或设计用于多用途存储。有些云架构用于性能和从云中访问的数据,同时还有一些架构来用于深存档、黑暗的存档和冷存档。例如,Amazon Glacier用于存档、Amazon S3用于通用文件或通用对象服务,以及亚马逊弹性块存储用于日常性能存储,但都通过云访问。
云应该允许外部访问其存储,还应该允许应用运行在云端,且使用相同的存储。把它看作是不同性质的存储,基础云存储就是存储,用于备份的云是具有备份性质的存储。我们看到的云存储,它就是具有存档性质的存储。
总体来看,云备份和云存储之间的区别可总结为应用和访问,而不是架构。此外,云备份是一个应用,这是云存储的各种用途之一。为了减少疑惑,我们应该关注我们所获得的功能,正确认识到云存储与云备份的区别,才能将两者真正应用到实处。
根据我们面向的客户群特点,云备份产品一般是企业内部进行备份!比如学校,医院,政府部门,企事业单位,通过内部资源整合,利用备份软件来建立自己的私有云。因此,我们的云备份产品定位为企业级的私有云备份。
二、云备份产品
目前市面上关于企业级云备份方面,外企的云备份产品占据市场分金额较大。国外主要的云备份大型知名企业有Symantec(赛门铁克)、EMC以及IBM等,考虑国家信息安全问题,目前急需国产大型云备份企业支持云备份产品,这即是云备份方面的发展机遇,也是一个挑战。
目前针对外企产品进行简单的调研分析如下:
1. Symantec云备份
赛门铁克备份和归档解决方案:
提供了内部、混合或基于云的部署选项,以便与企业的业务需求保持一致
推荐的云备份和归档产品
NetBackup 紧密集成VMware和Microsoft Hyper-V API,且内置重复数据删除的备份与恢复框架,可保护专用云以及通往公共云存储提供商的接口。
Backup Exec 通过对VMware和Microsoft虚拟服务器提供优化支持,为物理和虚拟服务器环境提供快速而有效的数据保护。
Enterprise Vault 与内容归档相集成,用户能够存储、管理和发现整个企业的非结构化信息。
Enterprise Vault 云服务是一种基于云的归档服务,可帮助企业存储、管理和发现关键业务信息。
Symantec Backup Exec
BackupExec™ 15提供专为整个基础架构打造的强大、灵活且易于使用的备份和恢复功能,不受虚拟平台、物理平台或云平台的影响。 与最新版本的VMware 和Hyper-V紧密集成,以确保恢复既快速又高效。 短短几分钟,即可恢复包括虚拟机、应用程序、数据库、文件、文件夹以及粒度应用程序对象在内的任何内容。
主要功能
卓越的 VMware支持 Backup Exec扩大了其对VMware的行业领先支持范围,现可与vSphere 6: ESXi 6.0、vCenter 6.0、Virtual SAN 6、Virtual Volumes、vSphere 6安全证书以及VMware EVO:RAIL紧密集成。
轻松升级和迁移 快速轻松升级到Backup Exec 15。从Backup Exec 2010 R3 SP3 以及更新版本进行升级后,Backup Exec可管理面向多个服务器的单一备份策略以及这些服务器的配置设置。另外,您还可以置换Backup Exec、Backup Exec V-Ray 或Backup Exec Small BusinessEdition的许可证,以迁移至Backup Exec Capacity Edition,大大节省成本!
Amazon云存储 与AWS Storage Gateway VTL全新集成,通过无缝迁移现有的和新的备份作业至云存储,提高IT敏捷性。
此项无缝集成能够帮助任何人利用云存储的优势,例如自动化、弹性以及即用即付等直接源自Backup Exec的优势,而无需花费时间和资源学习并管理新产品或是重新架构环境。
可伸缩性和性能得到增强
主要优势
2. EMC云备份
EMC主要的备份产品:
Data Domain 针对备份和归档的保护存储。
EMC Avamar 重复数据消除备份软件和系统。
EMC NetWorker 统一备份和恢复。
EMC Data Protection Advisor 统一数据保护管理。
EMCAvamar:通过完整的软件和硬件解决方案快速高效地备份和恢复。 Avamar配备集成式可变长度重复数据消除技术,可以方便地对虚拟环境、远程办公室、企业应用程序、网络连接存储(NAS)服务器和台式机/笔记本电脑进行快速的每日完整备份。
更快备份和恢复
Avamar采用可变长度重复数据消除功能,通过仅存储具唯一性的每日更改大大减少备份时间,同时保持每日完整备份以便立即执行单步恢复。
优化的带宽
消除重复数据后的备份仅发送更改的数据块,从而减少网络流量。利用现有局域网(LAN)和广域网(WAN)带宽实现企业范围和远程/分支办公室备份和恢复。
一步恢复
每次Avamar备份都是完整备份,因而易于浏览、指向并单击以实现单步恢复。
高可靠性
AvamarData Store具有冗余电源和网络、独立磁盘冗余阵列(RAID)以及获得专利的独立节点冗余阵列(RAIN)技术,可提供无中断的数据可访问性。无论何时需要,每日数据系统检查都能确保可恢复性。
灵活的部署
AvamarData Store将消除重复数据的容量扩展至124TB。要获得更高性能和可扩展性,可在集成解决方案中将Avamar与EMC Data Domain系统一起部署。
详细信息
EMC Avamar通过减少客户端的备份数据量,再通过网络传输和存储这些数据,实现快速、高效的备份和恢复。Avamar的可变长度重复数据消除仅发送通过局域网(LAN)或广域网(WAN)压缩和加密的唯一数据块,可大大减少网络流量。以前存储的数据块决不会被再次备份。
这意味着可以节省大量的备份带宽,并可以大幅减少后端所需的磁盘存储,最重要的是备份速度非常快,通常快十倍。
以前,为达到所需恢复点,需要先恢复完整备份和后续增量备份;而通过 Avamar备份,只需一步即可快速恢复,从而省去了这些麻烦。备份数据也可在 Avamar Data Store中加密,以提高安全性。
部署选项
AvamarData Store–作为部署此解决方案最简单快捷的方式,EMC Avamar Data Store在一个完全集成且可扩展的预打包解决方案中结合使用经 EMC 认证的专用备份应用装置和Avamar重复数据消除备份与恢复软件。它消除了向多家供应商寻求硬件、软件及相应支持的烦恼。作为一款全包式解决方案,Avamar Data Store可显著缩短现场安装时间,同时为采购、部署和维护提供了单一联系点。查看Avamar Data Store产品介绍。
AvamarBusiness Edition – EMC Avamar Business Edition是专用备份应用装置,提供了可方便调整大小且经济实惠的全包式重复数据消除备份解决方案。该产品专为中端市场公司设计,采用简化的管理,非常适合 IT 资源有限的组织。内置的存储恢复能力和可选的复制功能可确保可用性和实现灾难恢复。
AvamarVirtual Edition – 一种在VMware虚拟机中完整实施EMC Avamar Virtual Edition的虚拟应用装置部署。
与 Data Domain 重复数据消除存储系统集成 – 充分利用Data Domain的性能和扩展处理所有备份工作负载。
使用情形
虚拟化环境 |
在来宾级和映像级优化虚拟机备份和恢复。采用独特的功能并与VMware vCenter、VMware vCloud Director、VMware vStorage API for Data Protection、VMware vSphere Web Client 和 Microsoft Hyper-V紧密集成。 |
NAS 备份 |
通过网络数据管理协议(NDMP)加速缩短备份时间。消除冗长的零级完整备份。高性能多数据流将处理横向扩展EMC Isilon备份和恢复。 |
台式机和笔记本电脑备份 |
通过终端用户自助恢复保护处于边缘位置的数据并减少对IT的依赖性。 |
远程办公室备份 |
通过单个用户界面集中并简化远程办公室备份和恢复。 |
业务关键型应用程序 |
通过高性能重复数据消除以及面向应用程序所有者的高级可见性和控制,确保针对IBM、Microsoft、Oracle和SAP企业应用程序实现应用程序一致的备份和恢复。 |
应用程序模块
EMCAvamar可保护您的业务关键型应用程序,使其不会中断或宕机。它为您提供快速恢复业务操作所需的灵活数据恢复。利用重复数据消除技术可确保以较短的备份窗口保护关键业务应用程序数据,在备份期间最大限度地提高网络效率,并尽可能减少备份存储消耗。
Avamar与 EMC Data Domain的集成提供了一种备选方案,可将选定工作负载的Avamar备份指向Data Domain系统,从而获得扩展和性能优势。
为了与业务应用程序紧密集成,EMC提供以下Avamar应用程序模块:
EMCAvamar Client for IBM DB2 – 为IBM DB2数据库提供完整的重复数据消除备份和恢复解决方案。便于执行快速的时间点数据库恢复。
EMCAvamar Client for Lotus Notes – 为Lotus Notes提供快速的重复数据消除备份和恢复,并支持 Domino 附件和对象服务(DAOS)。
EMCAvamar Client for Microsoft Exchange Server – 为Microsoft Exchange Server提供采用重复数据消除技术的备份和恢复。支持单个邮箱、文件夹和邮件的精确恢复。
EMCAvamar Client for Microsoft SharePoint – 为Microsoft SharePoint提供采用重复数据消除技术的备份和恢复。实现面向SharePoint对象(例如Web应用程序、站点和日历)的精准恢复。
EMCAvamar Client for Microsoft SQL Server – 为Microsoft SQL Server数据库提供快速的在线备份,并可实现全面的灾难恢复和精确恢复。
EMCAvamar Client for Oracle – 为Oracle提供采用重复数据消除技术的备份和恢复。支持Support Oracle RecoveryManager (RMAN)备份,并且为Oracle Real Application Cluster (RAC)提供全面保护。
EMCAvamar Client for SAP – 为SAP提供功能齐全且已消除重复数据的备份和恢复,包括主动/被动群集支持和精确恢复。
EMCAvamar Client for Sybase – 为Sybase提供功能齐全且已消除重复数据的备份和恢复,包括主动/被动群集支持和精确恢复。
EMC产品示例
面向医疗保健业的备份和恢复解决方案
EMC针对医疗保健业的备份和恢复解决方案使您能够加强数据保护、简化备份和恢复,并满足众多服务级别(即使是最大的数据卷也一样)。
缩短备份窗口
减少对应用程序和系统可用性的影响。
加快备份和恢复
满足更具挑战的备份窗口,在数分钟而不是数天内恢复关键应用程序。
降低了业务风险
利用内置硬件冗余和独立磁盘冗余阵列(RAID)保护快速精确地恢复数据。
提高了 IT 效率
节约了数小时员工时间并提升了用户生产效率。
技术解决方案
包含重复数据消除功能的新一代磁盘和网络优化备份和恢复可让这些问题迎刃而解。
今天的数据保护要求正在迅速地超越传统的磁带式解决方案的能力。必须管理和保护的数据量呈指数级持续增长,而保留要求则进一步使数据管理变得更加复杂。
此外,虽然虚拟服务器整合并简化了数据管理,但它们也带来了备份瓶颈和其他存储管理难题。对于需要优化其虚拟化计划并满足服务级别协议、数据法规遵从性指令和预算限制的IT组织而言,重新设计备份已经迫在眉睫。
图 1. 解决方案体系结构
相关产品
Products
使用快速、可扩展的重复数据消除备份软件和系统针对虚拟环境、网络连接存储(NAS)服务器、企业应用程序、远程办公室和台式机/笔记本电脑进行了优化。
利用适用于新一代备份、恢复和归档的重复数据消除存储系统。
配备有跨备份、复制和虚拟环境的自动监视、分析和报告功能的强大、统一数据保护管理。
EMC DiskLibrary for mainframe是一个完整的支持传统存储和重复数据消除存储的大型机虚拟磁带库,可存储各种类型的数据。
集中进行备份和恢复,桥接传统和新一代数据保护,以保护整个数据中心信息的安全。
Services
3. IBM数据保护和存储管理
IBM存储管理软件能够帮助组织更轻松更有效地管理不断增加的原始数据和备份数据,以更低的成本满足应用的可用性和性能要求。
利用 IBM存储管理软件,从数据中获得更多价值:
主要的备份产品:
TivoliStorage Manager自动化的数据备份和恢复功能。
TivoliStorage Productivity Center一个集中的、基于Web的管理控制台管理异构存储基础架构。
TivoliStorage Manager Suite for Unified Recovery Management捆绑了10个存储管理产品。
TivoliStorage Manager Fastback为Microsoft和Linux提供连续的数据保护和安全管理。
IBMSmartCloud Virtual Storage Center为异构存储环境提供有效的虚拟化管理和数据保护。
TivoliStorage FlashCopy Manager对关键应用进行快速且频繁的保护。
Tivoli Storage Manager
IBM TivoliStorage Manager是数据保护平台,为企业提供单点控制和管理以进行备份和恢复。它是IBM Tivoli Storage Manager系列中的旗舰产品。支持对所有规模的虚拟、物理和云环境进行可靠且经济有效的备份和快速恢复。
了解有关Tivoli Storage Manager功能的更多信息:
TivoliStorage Manager的可扩展架构和模块化设计可帮助各种规模的企业以更高的效率和信心满足数据保护需求。
灵活的部署选项
TivoliStorage Manager通过一系列配置形式提供,包括解决方案捆绑包、设备和云服务。
解决方案捆绑包:
设备和云服务:
应用感知和虚拟机优化型
可以将面向移动设备、虚拟环境及核心业务应用的IBM应用感知型代理程序添加到Tivoli Storage Manager,从而显著缩短备份和恢复时间并降低复杂性。
应用感知功能还可以和 IBM 快照管理及持续数据保护解决方案一起提供。
高级IBM组件和IBM专利技术
TivoliStorage Manager使用在其他备份和恢复软件中没有的高级IBM组件和IBM专利技术。
示例包括:
TivoliStorage Manager随附IBM Cognos Business Intelligence和预先编写的报告。这有助于应用分析,以及定制和发布报告。
小结:
赛门铁克公司的Veritas NetBackup、EMC公司的Avamar、IBM公司的Tivoli Storage Manager(TSM)等等,这些都是大名鼎鼎的备份软件,功能丰富且强大,但也价钱昂贵。对于中小企业来说,这些著名的备份软件不但昂贵,而且一些功能可能用不上。这时候,一些开源备份软件就成为中小企业的选择,开源备份软件源代码开放,用户可以根据自己的需求对代码进行修改,从而满足自身的需求。
三、云结构设计
1、亚马逊云
AmazonWeb Services (AWS) 存储解决方案旨在提供安全持久可扩展的存储服务,适合希望在备份和恢复环境中拥有效率和可扩展性但不需要在内部部署基础设施的企业。
AmazonSimple Storage Service (Amazon S3) 为开发人员和 IT 团队提供安全、耐久且扩展性高的对象存储。Amazon S3 易于使用,具有简单的 Web 服务接口,用于在 Web 上的任何位置存储和检索任意数量的数据。使用 Amazon S3,只需按实际使用的存储量付费。没有最低费用和准备成本。
AmazonS3 可单独使用,或与 Amazon Elastic Compute Cloud (AmazonEC2)、Amazon Elastic Block Store (Amazon EBS) 和 Amazon Glacier 等 AWS 服务以及第三方存储库和网关结合使用。Amazon S3 为各种各样的使用案例提供低本高效的对象存储服务,其中包括云应用程序、内容分发、备份和归档、灾难恢复以及大数据分析。
AWS存储解决方案可为备份提供极高的云存储扩展性、持久性和可靠性,旨在支持任务关键型数据库,包括 Oracle 和 SAP。Amazon S3 配有简单易用的 Web 界面,旨在提供灵活性、敏捷性、地理冗余以及稳健的数据保护功能
随着完全迁移到 Amazon S3,Amazon.com 认识到这一措施所带来的好处,包括:
· 消除了复杂、耗时的磁带容量规划工作。由于组织变化和并购活动,Amazon.com 越来越壮大,并且逐年增加动态性。AWS 使 Amazon.com 能够适应这种快速扩张,并且顺利地进行过渡。之前,Amazon.com 业务组必须编写年度备份计划,计算该年度计划要使用的磁带存储量以及使用这些磁带资源的频率。然后,根据这些计划来向各个组织收取磁带使用费,从而将成本摊到许多团队。使用 Amazon S3,团队只需按使用支付费用,仅计算其所用资源的费用。实际上,对于 Amazon S3 中最多能存储多少数据没有上限,也无需担心资源不足的情况。对于采用 Amazon S3 备份的团队而言,再也无需进行正式规划了。
· 减少了资本支出。Amazon.com 再也不需要购买磁带机器人、磁带驱动器、备用磁带、数据中心空间、联网设备、企业备份软件或预测未来的磁带消耗量。这就早早地消除了针对固定设备以及资本开支的预算。
· 恢复时可立即获取数据,无需查找或取回物理磁带。无论何时,数据管理员从磁带恢复数据时,都要面对延迟问题。磁带备份软件需要读取磁带目录来查找要恢复的文件、找到磁带并从中读取数据。在大部分情况下,数据分散在多个磁带中,而这会导致延迟问题的加剧。这种情况,再加上多个用户磁带请求导致的争用磁带驱动器的问题,会致使恢复过程会更加缓慢。这种情况在发生重要事件时尤其严重,如数据中心运行中断时,此时需要同时尽快恢复多个数据库。使用 Amazon S3 这些问题都不存在了。数据恢复可以立即开始,无需等待或磁带排队,这意味着数据库可以更快恢复运行。
· 将数据库备份到 Amazon S3 比使用磁带驱动器要快 2 到 12 倍。作为一个示例,在基准测试中,数据库管理员可以在 2.5 小时内通过 Gigabit 以太网恢复 3.8 TB 的数据。这相当于每分钟 25 GB,或每秒 422 MB。另外,由于 Amazon.com 使用 RMAN 数据压缩功能,有效恢复率达到每秒 3.37 GB。这 2.5 小时的恢复量堪比以保守方式 10 到 15 小时从磁带恢复的量。
· 轻松实现从 Oracle RMAN 备份到 Amazon S3。数据库管理员发现,将数据库备份到 Amazon S3 的操作入门非常简单。将 Oracle RMAN 备份到 Amazon S3 只需配置一个 Oracle Secure BackupCloud (SBC) 模块即可。配置 Oracle SBC 模块每个数据库所需的时间不超过 1 小时。完成此一次性设置后,数据库备份就可以可见的方式重定向到 Amazon S3。
· Amazon S3 提供持久数据存储,专为提供高达 99.999999999% 的持久性而设计。Amazon.com 偶尔会遇到磁带基础设施硬件故障,如磁带破碎、磁带驱动器故障、机器人组件故障。有时候,当数据库管理员试图恢复数据库时出现这种情况,这大大降低平均恢复时间 (MTTR)。有了 Amazon S3 的持久性和可用性,这些问题再也不复存在。
· 解放了珍贵的人力资源。使用磁带基础设施,Amazon.com 必须找到在大型磁带备份安装方面经验丰富的工程师,即专业的、熟悉各个供应商不同技术的人员,而这样的人很难找到。他们还需要雇佣数据中心技术人员来专门从事问题解决和硬件故障排查工作,如更换驱动器、整理磁带、运输和跟踪磁带等。Amazon S3 让他们能够将这些专业人员从日常操作中解脱出来,从事更有价值的关键业务工程设计任务。
· 再也不必将实体磁带运送到场外。所有将 Oracle 备份数据场外存储的公司应该仔细分析将磁带运送到场外、安保和场外保存所需的花费,而这些花费在使用Amazon S3存储数据后就可以减少,甚至可能完全消除。
作为世界上最大的在线零售商,Amazon.com始终在不断创新,努力提供更好的客户体验并以尽可能地的价格提供产品。其中一个创新举动就是用Amazon S3存储替代磁带进行备份操作。此创新是其他将Oracle数据库备份到磁带的组织可以轻松复制的。
亚马逊云Amazon S3,通过自身的AWS(Amazon Wsb Services)具有备份恢复功能,材料中提及Oracle数据库的备份;
2、微软云
WindowsAzure备份服务是简单、可靠的数据保护解决方案,使客户能够将其本地数据备份到Windows Azure。
WindowsAzure Backup与WindowsServer和SystemCenter平台一同帮助您将业务数据以自动化的方式备份到公有云上。例如,您可以配置Windows Azure Backup来将文件和数据从本地Windows Server系统备份到Windows Azure云中。您可以使用Azure恢复代理为注册的服务器指定备份计划,并且如果出现阻碍您访问物理服务器的问题时,您也可以在另外的服务器上恢复云中的文件和文件夹。您还可以结合使用System Center DataProtection Manager (DPM)和Windows Azure备份服务来保护数据。例如,您无需再将主要DPM服务器备份到磁盘或本地的辅助DPM服务器,从System Center 2012 SP1 DPM开始,您可以使用Windows Azure备份服务将DPM服务器和这些服务器保护的数据备份到云中。
SQLServer 2012 SP1 CU2中发布了可将SQL Server备份写入Azure Blob存储服务的功能。可以使用此功能将数据从本地SQL Server数据库或Azure虚拟机中的SQL Server数据库备份到Azure Blob服务或从中进行还原。备份到云具有以下优点,即,实现可用性、无地域复制场外存储限制,以及可以轻松将数据迁移到云和从云中迁移数据。在此版本中,可以使用T-SQL或SMO来发布BACKUP或RESTORE语句。无法使用"SQL ServerManagement Studio备份或还原"向导来备份到Azure Blob存储服务或从中进行还原。
使用Azure Blob服务执行SQL Server备份的优点
存储管理、存储故障产生的风险、访问场外存储以及对设备进行配置是一些普遍存在的备份难题。对于在Azure虚拟机中运行的SQL Server,配置和备份VHD 或配置附加驱动器将面临一些额外挑战。下面列出了使用Azure Blob存储服务存储进行SQL Server备份的一些主要优点:
· 灵活、可靠且无场外存储限制:在Azure Blob服务中存储备份非常方便、灵活且可轻松访问场外存储。为SQL Server备份创建场外存储就像修改现有脚本/作业一样简单。场外存储通常应当远离生产数据库位置,以防止某个灾难可能同时影响场外和生产数据库位置。通过选择地域复制Blob存储,可以在发生可能影响整个地区的灾难时进一步加强保护。此外,可随时随地且轻松地访问备份数据以进行还原。
· 备份存档:在对备份进行存档时,Azure Blob存储服务提供了可替代常用磁带存储方式的更好方式。选择磁带存储时可能需要将数据实际运输到场外设施,并且需要采取一些介质保护措施。在Azure Blob存储中存储备份可提供即时、具有高可用性且持久的存档方式。
· 无硬件管理开销:使用Azure服务没有硬件管理开销。Azure服务可管理硬件并提供地域冗余复制和硬件故障防护。
· 当前,对于在Azure虚拟机中运行的SQL Server实例,可以通过创建附加的磁盘来备份到Azure Blob存储服务。不过,只能将有限数量的磁盘附加到Azure虚拟机。对特大实例的限制为16个磁盘;对较小实例的磁盘限制数更少。通过直接备份到Azure Blob存储,可以绕过16个磁盘这一限制。
· 此外,目前存储在Azure Blob存储服务中的备份文件可供本地SQL Server或运行在Azure虚拟机中的其他SQL Server直接访问,而无需进行数据库附加/分离或者下载和附加VHD。
· 成本优势:只需为所使用的服务付费。作为场外和备份存档方式可能更加划算。有关详细信息,请参阅 Azure定价计算器和 Azure定价文章。
以下两部分介绍了Azure Blob存储服务,以及备份到Azure Blob存储服务或从中进行还原时使用的SQL Server组件。了解这些组件以及它们之间的交互对备份到Azure Blob存储服务或从中进行还原来说至关重要。
创建Azure帐户是这个过程的第一步。SQL Server使用Azure存储帐户名及其访问密钥值来对存储服务进行身份验证,然后读取Blob并将其写入存储服务。SQL Server凭据存储此身份验证信息,并且将在备份或还原期间使用这些信息。
AzureBlob存储服务组件
· 存储帐户:存储帐户是所有存储服务的起点。若要访问Azure Blob存储服务,请先创建一个Azure存储帐户。存储帐户名及其访问密钥属性是对Azure Blob存储服务及其组件进行身份验证所必需的。有关Azure Blob存储服务的详细信息。
· 容器:容器提供一组Blob集,并且可存储无限数量的Blob。若要将SQL Server备份写入到Azure Blob服务,必须至少创建一个根容器。
· Blob:任何类型和大小的文件。可将两类Blob存储到Azure存储服务中:块Blob和页Blob。SQL Server备份使用页Blob作为Blob类型。
SQLServer组件
· URL:URL指定到唯一备份文件的统一资源标识符(URI)。URL用于提供SQL Server备份文件的位置和名称。在此实现中,唯一有效的URL是指向Azure存储帐户中的页Blob的URL。URL必须指向实际Blob,而不是仅指向容器。如果Blob不存在,则会创建一个。如果指定了现有Blob,BACKUP将失败,除非指定> WITH FORMAT选项。注意:HTTPS不是必需的,但建议使用它。 重要说明 如果选择将备份文件复制并上载到Azure Blob存储服务中,并且打算使用此文件执行还原操作,则必须将页Blob类型作为存储选项。从块Blob类型执行RESTORE命令将失败并报错。
· 凭据:连接到Azure Blob存储服务并通过其进行身份验证所需的信息将存储为凭据。为了使SQL Server将备份写入Azure Blob或从中进行还原,必须创建SQL Server凭据。凭据存储存储帐户的名称和存储帐户访问密钥。创建凭据后,必须在发布BACKUP/RESTORE语句时在WITH CREDENTIAL选项中指定该凭据。
微软云中的windows Azure Backup通过自身的Azure Blob存储服务器实现SQL server备份;
3、阿里云
开放存储服务(Open Storage Service,OSS),是阿里云对外提供的海量、安全和高可靠的云存储服务。RESTFul API的平台无关性,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
产品优势:
稳定
服务可用性高达99.9%
系统规模自动扩展,不影响对外服务
数据三重备份,可靠性达到99.99999999%
安全
多层次安全防护和防DDoS攻击
多用户隔离机制
提供访问日志有助于追查非法访问
大规模、高性能
存储容量无限扩展
请求处理能力弹性增加
多线BGP网络确保全国各地访问流畅
产品功能:
弹性扩展:海量的存储空间,随用户使用量的增加,空间弹性增长,无需担心数据容量的限制。
大规模:能支持同时间内高并发、大流量的读写访问。
图片处理:对存储在OSS上的图片,支持缩略、裁剪、水印、压缩和格式转换等图片处理功能。
按需付费:对存储空间、网络流量、请求次数,按照用户实际使用量进行计费,节省用户的成本。
提供各种开发包:
· OSS API手册
· OSS图片处理服务API
· Python SDK开发包
· Java SDK开发包
· .NET SDK开发包
· PHP SDK V1开发包
· iOS SDK开发包
· Android SDK开发包
· NodeJs SDK开发包
阿里云提供存开放存储储服务(Open Storage Service,OSS)提供云存储服务,具备python、Java、php等SDK开发包,而在论坛里还有linux系统上C++的开发包。
四、开源云备份软件
对于云备份开源软件,目前网络上搜索只有Amanda云备份软件。Amanda (Advanced Maryland Automatic Network Disk Archiver,马里兰高级自动网络磁盘存档工具) 是由马里兰大学的James da Silva在1991年所开发的。它是一个复杂的网络备份系统,能够把LAN中的所有计算机备份到一台服务器的磁带驱动器、磁盘或光盘上。
Amanda本身并不是备份程序,它其实只是管理其他备份软件的封装软件。它使用系统上的dump和restore命令作为底层的备份软件,同时也能够使用tar命令,针对于windows计算机,Amanda还能够使用smbtar命令来实现备份。
Amanda支持类型广泛的磁带驱动器,并且能够使用磁带驱动器中的硬件压缩功能,或者也可以在数据通过网络之前使用客户机的compress以及gzip命令来压缩备份。其次,Amanda能够使用临时保存磁盘作为备份存档的中间存储媒介,以优化磁带的写入性能并保证在磁带出错时也能备份数据。
Amanda是一款功能强大的产品,它有很多企业级别的功能,例如,可以全自动识别何时进行全备份而无需用户设定。而且Amanda是唯一一款 具有SQL Server、Exchange、 SharePoint、Oracle全部代理的软件,也是唯一一款具有MySQL和Ingress代理的备份软件。
现在Amanda是Zmanda公司的产品,它全面负责Amanda软件的开发工作。在接管之后的很短的时间内,Zmanda就解决了 Amanda许多存在多年的问题。从那时起,这家公司开始负责Amanda的功能性包括数据库代理方面的开发。
用户可以选择使用免费版Amanda,帮助主要是来自Amanda论坛的其他用户。当然也可以选择购买Zmanda的商业支持。
Amanda是最广泛使用的开源备份软件,C++、Perl开发的,支持Windows、Linux和Unix、Mac OS操作系统,具体有:Windows、Linux、AIX、Digital Unix、FreeBSD、HPUX、IRIX、Mac OS X、NetBSD、SCO UNIX、Sinix、Solaris、Ultrix。
Amanda网络拓扑图
前Amanda有两个版本,一个是免费开源版本,可以在Amanda.org免费下载;另外还有一个商业版本,由Zmanda公司开发,Zmanda公司为该商业版本添加了图形化的管理界面,提供对数据库和应用的在线备份支持。
Amanda特点:
1、网络备份简化了系统管理员的工作,通过快速搭建一个备份服务器,实现网络上的各种客户端到磁盘或是磁带存储设备上的数据备份;
2、支持同时将备份数据写向磁盘和磁带设备,一方面可以备份数据到在线磁盘可以保证恢复的快速;另一方面,备份到磁带上的数据可以离线保存,应对灾难恢复以及长期保存管理要求。
3、无专用设备驱动要求,任何存储设备只要主机操作系统上支持,就可以被Amanda使用,用户升级时无需担心设备的兼容性。
4、Amanda使用系统自带dedump及标准的tar工具实现备份,数据格式开放,备份数据可以在任何情况下被恢复,无论安装Amanda与否,同时可以跨操作系统恢复。
5、性能,在Amanda中,使用一个Holding disk(缓存盘)暂存数据,备份数据先存放到备份服务器上的Holding disk,之后再迁移到磁带或其它存储设备。
6、安全性,开源加密及压缩方式,传输中数据加密,备份服务器端加密,支持最高4096位密钥,以及256位AES加密。
7、优化的平行备份机制,多个备份作业同时进行。
8、代码的高效性,这个是不容置疑的了,10几年的开源是保障。
9、支持云存储,比如Amazon S3。
Amanda工作方式:
Amanda综合使用完全备份和增量备份来保存所负责的全部数据,使用最小的、有可能是每日的备份集。一台 Amanda 服务器可以备份任意数量执行 Amanda 的客户机或是将连上 Amanda 服务器的计算机上的数据备份到一台磁带机上。一个常见的问题是,数据写入磁带机的时间将超过取行数据的时间,而 Amanda 解决了这个问题。它使用一个 “holding disk” 来同时备份几个文件系统。 Amanda 建立 “archive sets” 的一组磁带,用来备份在 Amanda 的配置文件中所列出的完整的文件系统。
Amanda的整体策略是:在每次周期中完成一次数据的完全备份,并且确保在两次完全转储之间备份所有更改的数据。传统的做法是先执行完全备份,然后在此期间执行增量备份。而Amanda 的工作方式不同的是,每次运行Amanda 都对部分数据进行完全备份,确切地说,就是在一个完整的备份周期内备份全部数据所需备份的其中一部分。例如,如果周期为 7 天,且一个周期内进行7次备份,则每天必须备份 1/7 的数据,以便在 7 天之内完成一次完全备份。除了这个“部分”完全备份外,Amanda 还对自最近一次完全备份后更改的数据进行增量备份。Amanda这种特有的备份策略,可以减少每次备份的数据量。
Amanda系统包含如下组件:
1、客户端程序,是amandad 其中最重要的。此后台程序在备份运行时和 Amanda 服务器进行通信。在/usr/lib/amanda目录下,还有其它的一些客户端程序: amandad 处理客户机和中央服务器之间的所有通信;运行所有其它的客户端程序; selfcheck 验证本地Amanda 配置; sendsize 估计备份大小; sendbackup 执行备份操作; 这些程序是 Amanda 客户端系统的一部分。但是并不能通过手工去执行他们,是由客户端包的其他辅助程序来调用这些程序。
2、执行各阶段实际备份操作的服务器程序。amdump 程序启动 Amanda ,并且常常使用 cron 定期运行。它控制一些其他程序,包括: planner 决定备份哪些内容; driver 设备接口; dumper 与客户端 amandad 进程进行通信; taper 把数据写入媒介; amreport 准备 Amanda 运行的报告;
3、执行相关任务的管理工具,包括: amcheck 验证 Amanda 配置的有效性以及此工具是否准备运行; amlabel 在磁带上写入Amanda卷标,用于避免覆盖错磁带; amcleanup 在中断或系统崩溃后进行清理; amflush 强制把临时保存区的数据写入备份媒介; amadmin 查出要恢复的正确磁带,并执行各种其它管理任务;
4、 指定 Amanda 操作的配置文件。比如备份内容、频率、位置以及磁带设备特征等。这些文件为 amanda.conf 和 disklist,在/etc/amanda下每个子目录对应于一个 Amanda “配置”,默认为“DailySet1”,它是一套独特的设置和选项,由目录名来引用。
5、amrestore工具可用来恢复 Amanda 备份中的数据。此外,amrecover工具支持交互式的文件恢复。它依赖于后台amindexd和amidxtaped程序进行工作。
五、集成云备份
基于云的存储和计算能提供场外的,可长期使用的存储或灾难恢复(DR)平台而无需自己筹集资金建立。组织机构可获得额外的基础架构资产,而只需一小部分费用。而设备的购置成本,以及占地,人员,能源,维护,软件和设备更新等运营成本通通可以免除。支持业务连续性所需的冗余性通常是自动具备的,从而免除了在自建模式中所需的额外费用。
云备份服务可用于获取和存储备份拷贝以替代磁盘到磁盘到磁带的(D2D2T)的方式,并自动的在异地存储备份集合。对于基于云的灾备,同样的服务通常被用来存储生产工作负载的复制实例。
对于备份和恢复功能,有众多的云整合方式可以使用。其中一个可以完全免除备份基础架构的方法是备份软件即服务(SaaS),包含在云中运行备份应用和存储备份拷贝。另外一种免除基础架构的方法是将IT服务外包给管理服务提供商(MSP),允许MSP托管生产应用和管理IT基础架构,包括备份和恢复操作。通过磁盘到磁盘到云(D2D2C),还有很多方法可以使用云来整合企业内部的备份功能,如:利用公有云基础架构即服务,在公有云环境中创建虚拟私有云或建立私有云基础架构。
使用公有云基础架构的D2D2C方式包括使用企业内部的备份应用,通过IaaS供应商发布的API,直接或间接的与IaaS供应商整合,如Amazon,Google,Microsoft,Nirvanix,Rackspace等。这些API通常支持运行于HTTP之上的表征状态转移(REST)。备份厂商支持的API可直接写入云服务。备份厂商如Actifio,AppAssure,Arkeia, CA,CommVault,Druva,Symantec (NetBackup和Backup Exec )和Zmanda已经完成了繁重的集成各自备份应用的工作,从而可以与其它厂商的基于云的服务联通。这样可以避免IT组织编写复杂的脚本或使用云网关设备来与云服务集成。不过,用户可能需要购买附加的“云连接器”或更新媒体服务器至最新服务包以与云存储提供商的基础架构兼容。
除了通过API与云整合,一些备份厂商也基于云网关实现整合。通过云网关,不支持REST接口的备份应用可以将云当作存储空间使用,如通过Ctera Networks,F5 Networks,Nasuni,Panzura,Riverbed,StorSimple 或TwinStrata。例如,位于用户场所的Riverbed Whitewater硬件装置可以部署为企业内部备份应用的本地存储目标。它可以提供本地重复数据删除的存储以及到云端的自动广域网(WAN)优化的复制,诸如AT&T Synaptic存储,Amazon,Microsoft Azure,Nirvanix 和Rackspace。实现此类云整合的备份厂商包括CA,CommVault,IBM, Quest,Symantec 和Veeam。
虽然购买云存储网关设备需要额外的费用,但其在IaaS厂商的选择上可以提供更多的灵活性。不过这种方式的实现仍然存在一些不足。首先,IT组织可能需要调整重复数据删除,压缩和加密的设置。相对于由网关设备如Riverbed提供的服务,由备份应用自身实现的重复数据删除,压缩和加密功能可能显得多余。其次,本地和云存储的保留期限设定通常在网关设备上配置,而不是在备份应用中,这样可能会导致管理复杂性。最后,备份应用只是将网关设备视为本地存储空间,它并不知晓备份拷贝被网关设备复制到云端,某些情况下,如果备份应用要求的数据只是驻留在云端,恢复时将导致延迟。
如果IT组织对于使用公有云共享基础架构的性能或安全性存在顾虑,但仍希望利用其经济性和可扩展的益处,那么使用虚拟私有云(VPC)可能更为合适。VPC存在于共享的或公有云之中,并将云服务和公司自主拥有和运营的计算资源连接在一起,但可提供企业级的安全和性能。这种方式提供了资源的专有性和可靠性,同时兼具共享服务模式的快速可扩展性和成本效益。可用的VPC服务根据服务提供商的IaaS平台而各不相同。
某些MSP也提供VPC方法的其它形式,这些MSP开发的IaaS基于用户现场兼容的技术。一些采用非公有云方式并支持MSP使能的备份厂商包括Actifio,EMC,FalconStor,IBM,NetApp,Symantec,Syncsort,Veeam 和 VMware。在这种方式下,服务提供商直接接收承租人的备份并如同基础架构般对其进行维护。例如,iland,作为MSP,基于Veeam的备份和复制为VMware vSphere虚拟机提供托管的DR解决方案。类似的,Verizon Terremark与NetApp合作,利用NetApp的存储系统和数据保护系列产品建立起了基于云的多租户备份解决方案。EMC的云策略基于类似的模式来交付远程备份和复制备份服务。EMC的MSP在服务订阅者的现场使用EMC的Data Domain或EMC的Avamar实现本地保护,并将数据拷贝复制到位于MSP站点多租户配置下的EMC Domain或EMC的Avamar以实现云端备份。
如果想享有共享架构的可扩展性和成本效益的好处,同时希望对其公司资产保有完全的监管和控制,那么企业可以选择开发私有云的基础架构。私有云基础架构为单独的组织而准备,但可以象公有云一样交付按需网络访问至共享的弹性IT资源池。在此种方式下,企业使用本地的,永久许可的备份应用来执行备份任务,并将备份数据存放于站点外的私有云中。许多备份厂商的产品基于多租户的架构并可用于私有云的实现。此外,一些备份厂商与VMware的vCloud Director整合以期望在私有云和MSP使能云中占据一席之地。
如果用户站点内的技术和云 IaaS来自于同一厂商,那么备份的云整合将大大简化,例如EVault和SunGard可用性服务。使用这种方式,用户站点内的软件或者一体化的备份硬件装置提供本地保护以及异地复制到厂商的云中以实现灾难恢复。SunGard的Recover2Cloud 服务器复制软件将物理和虚拟系统复制到云,Recover2Cloud Vaulting软件将备份集拷贝到SunGard的云中。EVault Plug-n-Protect是一个用户站点内的硬件装置,结合了EVault的异地复制服务,即将站点内的“保险库”复制到EVault云中,实现云整合解决方案。除了“单一责任方”的好处,即只需与单一厂商接口以实现端到端解决方案,这些厂商的另一个优势是他们也提供恢复服务,使得云数据中心内的团队可以方便的实现云基础架构中的恢复。
只有当上行链路的带宽足够时,将站点内的备份与公有,私有或虚拟私有云整合才是切实可行的。当以10Mbps的传输速率来备份日增量100GB的数据时,需要将近24个小时才能完成。升级到100 Mbps的链接后,可以大幅减少传输时间至两个小时多一点。不过,带宽的费用通常需要翻倍。这就是为何利用带宽优化技术如重复数据删除和压缩是如此重要的原因。唯一需要注意的是云中消重或压缩状态下的数据仍需要重新组装和恢复以便生产应用识别。在基于云的灾难恢复的场景中,数据并非出于可用的状态,因此如果有大量数据需要从云端存储传输到站点内以便恢复,无论是采用网络链路或以便携的方式运送,都可能会造成一定的延迟。
对此两难困境的一个补救方法是在云中恢复。为整个系统在云中执行D2D2C的策略,而不仅仅是数据,可以改善恢复时间目标。对于在主站点运行虚拟工作负载的服务订阅者而言,这种方式非常简单。虚拟机封装应用实例的可移植性使得整合系统的备份和恢复流程得到简化并效率更高。几乎所有的备份厂商都支持虚拟系统的备份和恢复,因此只需要与兼容的云资源签约以创建恢复站点即可。
一些厂商,如Arkeia和Zmanda,提供虚拟备份硬件装置。这样就允许客户在云中运行备份服务器并且在站点内的备份服务器和基于云的备份服务器之间复制数据。数据可以直接在云中恢复或者云存储可以挂接到站点内部的备份服务之上。其它的产品如AppAssure和Symantec Backup Exec可以在云中执行恢复。Symantec的解决方案只限于虚拟环境,而AppAssure可以同时保护物理和虚拟系统。站点内AppAssure备份服务器和运行在亚马逊弹性计算云(EC2)AppAssure核心实例之间的复制使其可以在云中实现按需恢复。在云中运行备份应用的能力也可以帮助企业保护器驻留在云中的生产应用。
云基础架构为降低成本和简化恢复操作提供了极大的好处,特别是对于整合备份。云存储服务按需扩展和按使用付费的特性完美的配合D2D2C的应用场景,以减少或消除磁带介质和简化灾难恢复。