重复数据删除2.0：重在整合

收购Data Domain之后，EMC很快便成立了一个新的业务部门——备份和恢复系统部（BRS），并将备份软件Networkers、Avamar重复数据删除软件和Data Domain的重复数据删除产品整合在一起。“EMC预计，BRS部门的年收入可以达到10亿美元。但从现在的情况看，全年收入达到15亿美元不成问题。”EMC备份和恢复系统部业务开发高级总监Rod Mathews表示。在重复数据删除产品市场上，EMC成了开路先锋。这给紧跟在EMC后面的大批拥有重复数据删除产品的中小厂商提供了一个开拓市场的良机，同时也带动了虚拟磁带库产品的销售。

重复数据删除成标配

两三年前，中国的用户刚刚开始接触到虚拟磁带库产品。当时，许多用户对于选择磁带还是磁盘备份产品举棋不定。虚拟磁带库虽然可以提升备份和恢复的速度，但是在存储容量和成本方面与磁带相比并不占优势。重复数据删除技术的出现，消除了磁盘备份产品在存储容量和成本方面的短板，进一步提升了磁盘在备份应用中的地位。
许多厂商率先在虚拟磁带库产品上增加了重复数据删除功能，代表性的厂商包括SEPATON、昆腾等。当时，重复数据删除功能还是虚拟磁带库产品的一个选配功能。用户更多地还是关注虚拟磁带库的一些基本功能和性能指标，重复数据删除技术的出现并没有引起轰动效应。

随着磁盘备份产品逐渐深入人心，并且有在备份领域完全取代磁带的趋势，人们把更多的注意力投向了种类繁多的磁盘备份产品。那时，除了虚拟磁带库厂商以外，许多备份软件厂商纷纷在相关产品中增加了重复数据删除功能，代表厂商包括EMC、IBM、赛门铁克等。一时间，拥有重复数据删除特色技术的小厂商成了大厂商收购的对象，比如EMC收购了Avamar，IBM收购了Diligent等。

从那时起，只要是在和备份相关的场合，人们经常会听到关于重复数据删除技术的讨论。当时，人们讨论最多的就是重复数据删除的实现方式、重复数据删除比的大小以及重复数据删除会不会给系统性能带来负面影响等。当顶着重复数据删除技术鼻祖光环的Data Domain进入中国市场后，人们对于重复数据删除技术的关注度达到了最高点。所有厂商对重复数据删除技术的未来都持乐观态度，并且认为重复数据删除将成为磁盘备份产品的标配功能。随着技术的发展和人们在实践中不断摸索，重复数据删除技术除了可以用于磁盘备份产品以外，还能用于主存储。虽然关于重复数据删除技术能否用于主存储还存在很多争论，但是这并不能阻挡厂商的热情，NetApp、Hifn（已被Exar公司收购）以及昆腾等已经把重复数据删除技术用于了主存储。

从重复数据删除技术进入中国到2009年7月Data Domain被EMC收购，这一阶段可以看作重复数据删除技术在中国发展的第一个阶段，即重复数据删除1.0时代。这一阶段的特征是：重复数据删除产品市场处于萌芽期，各种类型的重复数据删除技术百花齐放，用户初步接受了重复数据删除技术。

重复数据删除重整合

EMC收购Data Domain是一道分水岭。这之后便进入了重复数据删除2.0时代。这一阶段的主要特征是重复数据删除产品的有效整合。厂商把重复数据删除功能与原有的软硬件产品进行整合，为用户提供全方位的、贴近数据源的重复数据删除策略和解决方案。

EMC通过BRS部门将Data Domain高性能的重复数据删除系统与原有的备份软件Networkers和也是通过收购得到的Avamar重复数据删除技术进行整合，组成了一个覆盖数据源端和目标端的全面的重复数据删除解决方案，可以最大限度地帮助用户消除系统内的重复数据，提高存储空间的利用率，并降低成本。赛门铁克也把重复数据删除功能整合到了原有的备份软件中，但并不像EMC那样提供软硬结合的方案，而是提供纯软件的解决方案。“在整合方面，EMC与赛门铁克的思路是不同的。EMC希望以一种集成的方式为客户×××能和恢复时间都可预测的以及能够可靠恢复的解决方案。如果用户采用的是纯软件的解决方案，就意味着用户不得不自己选择相应的硬件。这对有些用户来说是有一定难度的。”Rod Mathews举例说，“任何人都可以使用Linux软件实现防火墙的功能，但事实上没人这样做，而是选择思科等网络厂商的硬件防火墙产品。从长远来看，客户更希望获得系统性的整体解决方案，从而简化系统部署和实施的难度。”

戴尔在重复数据删除方面与EMC、赛门铁克和CommVault都有合作。2010年7月，戴尔宣布收购重复数据删除技术厂商Ocarina，这使得戴尔可以提供多种不同的重复数据删除产品。将这些产品进行整合和优化是戴尔下一步要着重解决的问题。

Rod Mathews认为，融合了Data Domain解决方案的EMC新一代备份架构具有以下特点：第一，全面的重复数据删除，即用户可以在备份客户端、备份服务器端或目标端完成重复数据删除；第二，灵活的部署，不管用户现在使用的是什么样的备份软件，都可以直接部署EMC新一代备份架构；第三，消除数据冗余，最大限度地减少局域网和广域网带宽的占用；第四，消除存储I/O的瓶颈，增强系统的性能和可扩展性；第五，通过备份软件可以直观地了解整个系统的数据保护状况，管理非常简便；第六，高效的灾难恢复。

重复数据删除看性能

未来，重复数据删除技术会朝着什么方向发展？Rod Mathews表示：“我们讨论重复数据删除，重点不在重复数据删除技术本身，而是为了提升整个数据备份的效率。因此性能是一个十分重要的问题。”

“随着EMC新一代备份架构的推出，传统的备份机制和流程也会随之发生改变，而这种变化体现在Avamar产品上。Avamar产品代表了一种不同于以往的数据备份管理和数据保护流程。”Rod Mathews举例说，“在传统的应用环境中，客户可以直接使用Data Domain存储系统。但是在虚拟环境中，客户通常会寻求新的数据备份机制，比如Avamar。EMC希望通过Data Domain存储系统和Avamar产品，推动客户采用下一代备份机制。”

EMC Data Domain全局重复数据删除阵列（GDA）采用多控制器扩展架构，多个控制器共同读写一个全局命名空间，未来只要增加控制器的数量就可以实现性能的扩展。Data Domain GDA目前可以提供14.2PB的逻辑备份容量，能够满足大型数据库、VMware虚拟机和非结构化数据工作负载的应用需求。EMC Data Domain Boost软件与备份软件一起部署在备份服务器上，这相当于把Data Domain设备上的一部分数据处理工作前移。这样一来，不仅可以将整个系统的备份吞吐量提高50%，而且可以将本地的网络流量至少降低80%，同时还能减少20%～40%的服务器开销。