探讨：重复数据删除在主存储中的应用

现如今，重复数据删除技术已经不再让人感到陌生，其价值也已经在备份领域获得了充分的体现，如何发挥重复数据删除技术的最大价值就成为厂商们又一个需要思考的问题。重复数据删除技术向主存储领域的延伸(NetApp公司开了重复数据删除技术在主存储应用的先河)，也让我们看到了厂商期待将这项技术能够发挥更大的价值。在2009年SNW中国大会上，HIFN向大家展示了其BitWackr重复数据删除和数据缩减技术，笔者也借此机会与HIFN公司中国区销售总监赵强先生就重复数据删除技术在主存储领域有何价值进行了一番探讨。

　　 主存储数据需要重复数据删除吗?

　　主存储因为存放着企业的关键业务数据，用户出于安全性以及对生产系统不影响的考虑，自然而然的对重复数据删除避而远之。甚至有人还会反问：主存储需要重复数据删除技术吗?这就要先从主存储上存放的数据谈起。

　　与备份不同的是，在主存储上，系统随时都在进行I/O交换操作，主存储数据的改变随时都在发生，这种特性也决定了主存储不会像备份领域(典型例子：企业每天做一个增量备份、每周做一个全备份，并长此以往、周而复始)那样存在着大量的重复数据，并且还可能存在很大的安全代价(主存储中的数据都至关重要)，因此就需要我们去定位主存储中哪些数据适合做重复数据删除或者数据压缩。

图一：在主存储和备份存储上应用重复数据删除的区别

　　虚拟化数据毫无疑问是主存储中比较多的重复数据，随着虚拟化的迅速发展和普及，虚拟机的迅速增多，使得这部分数据也迅速增加，因此，如何对这部分数据进行安全可靠的重复数据删除和数据压缩就成为考验厂商的一道难题。

图二：HIFN BitWackr技术对虚拟数据去重的示意图

　　从上图我们可以看出，HIFN BitWackr重复数据删除和数据压缩技术对虚拟化数据进行区分，分成公共数据和专有数据，然后在进行重复数据删除和数据压缩操作，同时还会做一个类似双机热备的操作，以防止意外的发生。

　　主存储中另外常见数据就是文件数据和图像数据，文件数据可能是因为基于工作共享的目的而存放在主存储当中，图像数据则是特定行业决定的，这些数据可能并像数据库数据那样关键，但使用会相对比较频繁，因此最好的方法就是对这些数据进行实时压缩。

图三：HIFN BitWackr对主存储数据进行数据压缩

　　如上图所示，通过对主存储添加BitWackr数据压缩技术，可以很好的对那些办公数据、文件、图像进行压缩处理，从而达到主存储空间利用最大化。当然，同样出于防止意外的发生，HIFN同时也会做一个类似双机热备的操作。

　　主存储中还有一部分数据就是基于数据库应用的结构化或半结构化数据，对于这些数据，笔者认为重复数据删除的确不太适合，这些结构化数据I/O操作异常频繁，并且是企业最为关键的数据，如果从成本的角度出发，用重复数据删除技术所节省下来的存储成本可能会获得非常之大的风险，因此，笔者不看好重复数据删除技术对这方面数据的应用。