几大主存储重复数据删除厂商技术对比

本文将对重复数据删除领域几家主要供应商及其产品主要区别的做一番介绍： NetApp 、 EMC 、 Ocarina 、 Storwize 、 Hifn 、 greenBytes.

　　

NetApp
　　由于 NetApp 公司所销售的具重复数据删除功能（采用后处理技术）的系统数量巨大，其成为重复数据删除技术市场的领军人物。公司方面称已售出 37000 个有重复数据删除功能的系统。问题是，有多少用户实际采用了 NetApp 的重复数据删除技术。
　　 NetApp 存储效率部门的高级市场经理给出的答案是：至少有 15000 个系统。（ NetApp 公司通过其自动支持功能进行的这一技术追踪）。而在 15000 个系统中，大约有 60% 至少给一个主软件实施了重复数据删除。
　　 NetApp 免费将重复数据删除技术整合进其 Data ONTAP 运行系统，因此重复数据删除技术可在公司的任何平台（例如， FAS ， V-Series ， VTL 等）上运行。其次，通过采用 V 系列虚拟网关， NetApp 可对其竞争对手（包括 EMC ，惠普，日立和 IBM 的磁盘阵列）的磁盘阵列进行重复数据删 除。 NetApp 能精简虚拟服务器环境中第三方磁盘 35% 的容量。
　　像此领域的其他供应商一样， NetApp 关注虚拟服务器环境 ―― 重复数据删除比率相对较高。事实上， Freeman 说，在不影响性能的情况下， Vmware 环境中，容量一般能节约 70% 左右。
　　

EMC
　　今年年初， EMC 公司宣布支持其 NAS 平台（同时也支持光纤通道和 iSCSI ） Celerra NS 生产线的重复数据删除和压缩技术。 EMC 的重复数据删除技术是基于 EMC 的 Avamar （用于进行重复数据删除）和 RecoverPoint （用于进 行压缩）技术，被整合进其 Celerra Manager 软件。数据精简功能是免费。（详见文章： "EMC adds de-dupe ， SSDs to NAS" ）
　　 EMC 称其重复数据删除技术可将文件系统容量减少 50%. （一个早期的采用者 ―― 德国 Karlsruhe 技术协会 ―― 实现了原始数据 25% 的精简量。）
　　虚拟服务器环境中， EMC 的重复数据删除技术可与公司的 VMware View （一款 vCenter 插件）协同应用。
　　新近， EMC 宣布了与 Ocarina Networks 进行合作。
　　

Ocarina
　　除了 EMC ， Ocarina 与 BlueArc 、惠普、 Isilon 、日立和 Nirvanix 均有业务合作往来。
　　据 CEO Murli Thirumale 说， Ocarina 和其他供应商数据精简技术的主要区别在于：通过采用专门的算法，其 ECOsystem 数据精简平台提供了内容识别 （针对特定文件类型）优化。 ECOsystem 采用的是后处理（或脱机）方式，其结合了目标级重复数据删除和压缩技术。 ECO 指的是容量优化的系统 “ 提取关联最优化 ” 方式，采用这一方式，数据首先被提取到其最初模式（如果数据被压缩则解压缩），采用散列法进行互联，然后用与特定子文件或目标相匹配的 算法进行优化处理。在特定的环境中，这一方法可实现高级别的容量优化，并且，由于这是一种后处理方式，因此不会降低主要软件的性能。
　　 ECOsystem 包括一个优化器 ―― 用于实施容量优化，而一款读卡器则按需对文件进行扩容。
　　 Ocarina 最初是在图像环境中获得成功，尽管这一技术不仅限于图像环境。比如， Kodak 公司采用了 Ocarina 的 ECOsystem 来管理超过 20PB 的照片。
　　

Storwize
　　 Storwize 是主存储设备数据精简技术市场的先锋企业，尽管其技术也可用于二级存储设备。 Storwize 跟其他供应商技术的核心区别在于：采用了基于先进的实时压缩技术的在线技术。（尽管 Storwize 的技术可与重复数据删除技术一同采用，但没有采用）
　　 Storwize 公司的全球营销高级副总 Peter Smails 说， “ 我们是唯一一家提供精简（压缩）数据实时、直接随机存取技术的供应商。 ”
　　与后处理数据精简技术不同， Storwize 的 STN 技术在数据最初被创建时即进行优化，开始，通过在数据被写入磁盘时将其进行压缩。这一平台不需要任何附加磁盘容量。
　　为了提高设备的性能，公司近期引进了 STN-6000i 系列，这一系列产品可使性能提高到 800MBps （之前的版本是 600MBps ）。
　　现在，尽管公司正在研发块级压缩产品， Storwize 的设备仅与 CIFS/NFS filer 协同运行。
　　

Hifn
　　 Hifn 于四月被 Exar 收购，但其数据精简技术却与之不同。公司计划生产重复数据删除技术所采用的卡和软件，提供经改进的压缩和加密技术。最新版本的卡是 BitWackr 250 和 255 ，可被连接到任何 Windows 服务器上，这一产品预计定价为 $950.
　　与基于存储网络的数据精简方式或后处理方式（位于主存储设备之后）不同， Hifn 卡插入服务器，对写入本地磁盘的数据进行优化处理。这一重复数据删除过程发生在 NTFS 存储集群中。
　　 Exar 的存储系统产品副总 John Matze 解释说， NTFS 首先配置了重复数据删除技术，接着是卡和软件 ―― 改进重复数据删除和压缩技术。
　　另一个不同点是 Hifn 利用了基于 ASIC 的硬件加速器。
　　尽管知名度不高， Hifn 并非数据精简领域的新企业，大部分虚拟磁带库（配置了机遇硬件的压缩技术）都在采用其存储卡，包括如 FalconStor 、 IBM 、 Overland Storage 、 Sepaton 和其他供应商。
　　

greenBytes
　　 greenBytes 是数据精简领域的新企业，公司产品预计于今年六月上市。
　　公司产品的一大特点是其与众多其他技术（例如压缩、子文件级重复数据删除、 MAID 技术、固态硬盘驱动器）进行捆绑，以支持 iSCSI 、 CIFS 和 NFS 及 n-to-n 复制。其次， greenByte 的软件是基于开放源码的，特别是 OpenSolaris 和一个用于提高可扩展性、已改进的 ZFS 文件 系统版本（据 CTO Bob Petrocelli 说，可达上百 TB ，而不出现性能障碍）
　　 greenByte 的设备采用了在线数据精简方式，写入速度可达 800MBps.
　　 greenByte 进行数据精简的一项关键技术被称为 “probabilistic constant time searching” ，这一技术的原理是：不考虑文件系统的未来大小，在常数时间之前，系统来确定是否存在特定的数据块。这一技术是针对固态硬盘的。好处 是，随数据存储量的增加，重复数据删除速度很快，但不会导致性能降级。其次， greenByte 的这一精简方式在删除重复数据前进行数据压缩，这样据说可 支持 2PB 的 name space.
　　 IDC 的 Greyzdorf 给考虑进行主存储设备精简的用户提了如下建议： “ 关键是首先要明白你要精简的数据类型是什么，数据的存取模式是什么，以及 备份、复制、快照等等的模式是什么。这样，针对你企业的特定环境，应该采用何种类型的容量技术，你就会有一个更清楚的认识。

                                                    Leo Guan

                                                转载于20100620