智能删除重复数据

随着磁盘备份技术以及大数据的兴起，重复数据删除不仅成了磁盘备份产品的标配功能，而且越来越多的主存储系统也在考虑增加数据精简功能，包括数据压缩、重复数据删除等。
现在是时候重新审视企业的重复数据删除策略了。如今，大部分企业应用环境都需要使用重复数据删除技术，不论是面临资源瓶颈、规模制约，还是两者皆有，重复数据删除作为一种实用工具已经得到了迅速普及。CommVault基础设施解决方案产品营销总监Phil Curran认为，当面临持续快速增长的数据时，重复数据删除这种过于依赖基础硬件设备的策略可能会产生其他技术问题。
并行重复删除应对大数据
目前，数据正以每年40%的速度增长，差不多每两年数据量就会翻一番。面对数据的快速增长，Parallel Deduplication（并行重复数据删除）的概念应运而生，它以提供大规模、可扩展和高弹性的重复数据删除功能为前提，通过以软件为中心的方式为大数据以及应用程序设计，并基于一种网格架构和重复数据删除数据库（DDB）运行。根据网格结构，并行重复数据删除将联合多个DDB实现数据保护（客户端和子客户端），提供一个单一的、大规模的重复数据删除池，例如两节点平行数据删除池的架构模型。并行重复数据删除可以通过接近线性的方式扩展重复数据删除的容量和吞吐量，用来支持负载繁重的数据删除工作。
Phil Curran介绍说，CommVault在最新推出的Simpana 10软件中内嵌了其第四代重复数据删除技术，该技术主要基于并行重复数据删除技术，以应对数据持续爆炸性增长带来的挑战。通过全新的基于网格的结构，Simpana 10采用的第四代重复数据删除在性能及规模上都较上一代产品提升了一倍，从而使企业基础设施的运行更加智能化。除了提供大容量和高吞吐量以外，并行重复数据删除方法还可以与CommVault独有的GridStor技术相结合，实现更好的负载平衡和作业故障转移。如果重复数据删除池的一个节点出现故障，其他节点会立刻接管现有任务，从而避免宕机。举例来说（如图所示），将两个重复数据删除节点联合在一起，每个节点最多可保护120TB的容量，吞吐量约为4.5TB/h。
并行重复数据删除部署原则
并行重复数据删除技术只是Simpana 10的众多新功能之一，它让重复数据删除变得更加智能。Phil Curran表示，用户在制定重复数据删除策略时，应着重考虑以下几个问题。
第一，将远程及中央办公室的重复数据删除整合到一个单一的软件架构中。企业可以在远程站点利用单一节点重复数据删除策略，然后在中央站点利用并行重复数据删除策略，采用DASH Copy技术将删除的重复数据拷贝到中央站点。将单一节点和多节点重复数据删除功能融为一体，可为企业提供足够的灵活性。企业还可以根据自己的需要对每个站点的数据容量进行相应调整。
第二，利用Simpana 10的DASH FULL技术进行永久增量备份，在最大限度地降低备份对生产服务器和网络影响的同时，还能大大提高备份策略的智能性，更好地利用原有的基础设施。例如，采用传统的每日增量备份、每周完全备份的方式，虚拟机（VM）每个节点的备份数据仅能达到20TB~25TB，而采用永久增量和DASH备份技术，每个节点可以备份40TB-~50TB的虚拟机数据。
第三，通过单一控制台全面、统一管理多个重复数据删除池，可确保企业创建的重复数据删除池在删除重复数据方面具有更高的效率，从而优化资源的利用。
Phil Curran特别指出，关于并行重复数据删除，企业还需要做额外考虑。现在，Simpana 10在并行重复数据删除策略中可以支持两个节点。不过用户可以期待，CommVault将把单一并行重复数据删除策略的节点数量推向一个极限。此外，用户在制定备份策略时，需要预先对并行重复数据删除节点进行配置。应对数据增长的解决方案需要提前进行规划。