Windows2012文件服务器之重复数据删除

Windows2012文件服务器之重复数据删除

Windows Server 2012文件服务器有一个新重复数据删除功能，可以帮助用户节约可用磁盘空间。“重复数据删除”是指发现并删除数据内的重复信息而不损失数据的精确性或完整性的操作。
一、“重复数据删除”功能，它具有如下优点：

1、 容量优化：“重复数据删除”使得 Windows Server 2012 能够在更少的物理空间中存储更多的数据，并获得比以前版本的 Windows 操作系统明显更高的存储效率。以前版本的 Windows 操作系统使用单实例存储 (SIS) 或 NTFS 文件系统压缩。“重复数据删除”使用可变分块大小和压缩，常规文件服务器的优化率为 2:1，而虚拟数据的优化率最高可达 20:1。

2、 伸缩性和性能： Windows Server 2012 中的“重复数据删除”具有高度的可伸缩性，能够有效利用资源，并且不会产生干扰。它可以同时对多个大容量主数据运行，而不会影响服务器上的其他工作负载。通过控制 CPU 和内存资源的消耗，保持对服务器工作负载的较低影响。此外，用户可以灵活设置何时应该运行“重复数据删除”、指定用于消除重复的资源并为“重复数据删除”创建有关文件选择的策略。

3、 可靠性和数据完整性：在对数据应用“重复数据删除”时，保持数据的完整性。Windows Server 2012 利用校验和值、一致性和身份验证来确保数据的完整性。此外，Windows Server 2012 中的“重复数据删除”会为所有元数据和最常引用的数据保持冗余，以确保这些数据可以在发生损坏时进行恢复。

4、 与 BranchCache 相结合提高带宽效率：通过与 BranchCache 进行集成，同样的优化技术还可应用于通过 WAN 传输到分支机构的数据。这会缩短文件下载时间和降低带宽占用。

二、实现重复数据删除的要求：

1） 服务器：

1、 服务器硬件应满足运行 Windows Server? 2012 的最低要求重复数据删除功能专用于支持最低配置，如配有 4GB RAM 和一个 SATA 硬盘驱动器的单处理器系统。

2、 如果计划在同一个服务器的多卷上支持重复数据删除，您将需要适当调整系统大小，以确保其可以处理数据。通常，服务器需要 1 个 CPU 核和 350MB 可用内存，以在单个卷上运行重复数据删除作业，并且该作业每天可以处理约 1.5TB 数据。

3、 重复数据删除功能一次支持多达 90 个卷，但是重复数据删除每个物理 CPU 核可以同时处理一卷外加一个卷。超线程不会对此造成影响，因为只有物理核才可用于处理卷。配有 16 个 CPU 核和 90 个卷的系统一次将处理 17 个卷，直到所有 90 个卷全部处理完成。

4、 虚拟服务器实例应遵循与关于服务器资源的物理硬件相同的指导。

2） 卷：

作为重复数据删除候选的卷必须符合下列要求：

1、 不能是系统卷或引导卷。重复数据删除在操作系统卷上不受支持。

2、 卷可为分区的 MBR 或 GPT，并且必须使用 NTFS 文件系统格式化。

3、 卷可以驻留在共享存储（如光纤通道或 SAS 阵列）上，或者完全支持 iSCSI SAN 和 Microsoft 故障转移群集。

4、 群集共享卷 (CSV) 不受支持。

5、 Microsoft 的新灵活文件系统 (ReFS) 不受支持。

6、 卷必须向 Windows 公开为不可移除的驱动器。远程映射驱动器不受支持。
备注：具有扩展属性的文件、加密文件、小于 64KB 的文件和重解析点文件不会被重复数据删除进行处理。

1、实验环境：
文件服务器2K1201，操作系统Windows Server 2012，E盘20G。

2、 安装文件服务器(包括重复数据删除功能)

1) 登陆2k1201服务器，打开“服务器管理器”---添加角色和功能

2) 下一步

3) 选择“基于角色或基于功能的安装”

4) 选择当前服务器（当前服务器2k1201）

5) 选择存储服务（默认已经安装）和文件和iSCSI服务中的“数据删除重复”

6) 下一步

7) 选择“安装”

8) 保持默认，下一步

9) 保持默认，下一步

10) 选择安装

11) 选择关闭

2、 在卷上启用重复数据删除

1）从服务器管理器仪表板中右键单击数据卷，并选择“配置重复数据删除”。此时将出现重复数据删除设置页。

2）选中“启用重复数据删除”复选框，输入从文件创建之日起直到文件进行重复数据删除时止，应过去的天数，这里 1天（如果设置0，立即执行），输入不应进行重复数据删除的任何文件类型的扩展名，这里文件扩展名为doc、txt，然后单击“添加”，浏览到任何包含不应进行重复数据删除的文件的文件夹，这里文件夹为3。

3）单击“设置重复数据删除日程表”按钮，继续为重复数据删除设置日程表，可以根据业务需要调整数据删除服务运行时间，然后点击应用。

4） 点击确定

3、 在卷上设置重复数据删除作业

说明：在 Windows Server 2012 中，重复数据删除作业可以按照需要（手动）运行，或按照日程表运行。可以在卷上执行三种类型的作业：优化、数据清理和垃圾回收。

1） 在E盘上建立两个文件夹1和2，分别拷贝2个cn_lync_server_2013_x64_dvd_1045124.iso文件(一个文件大小1.24G)到这两个文件夹下面。如图（E盘使用空间17.4G）：

2） 打开powershelll
运行输入命令，导入命令模块。

PS C:\> Import-Module ServerManager

PS C:\> Import-Module Deduplication

3） 立即执行数据删除任务

PS C:\> Start-DedupJob –Volume E: –Type Optimization

4） 查看删除任务进度

PS C:\> Get-DedupJob

5) 执行重复服务器删除后，E盘可用空间为18.5GB，并且文件夹1和2中还包含原来文件也可以正常访问，如图。

6) 打开服务器管理器---文件和存储服务----卷，点击E盘,查看当前重复数据删除率为48%,删除重复保存1.31G。如图：

备注：在服务器做重复数据删除之前，可以是微软提供的重复数据删除评估工具DDPEval.exe来评估节省的情况。

安装重复数据删除功能后，DDPEval.exe 工具将自动安装到 \Windows\System32\ 目录下。本工具可以从任何 Windows Server? 2012 安装复制，然后在 Windows 7、Windows Server 2008 R2 或 Windows Server 2012 系统上运行，以确定在特定卷上启用重复数据删除后会实现的预期节省。
注意：具体评估时间，与磁盘性能、文件数量、文件大小等因素有关。
在cmd下，运行DDPEval.exe，后面可以跟磁盘、共享路径等。
DDPEVAL.EXE H:

本文出自 “风之羽翼” 博客，转载请与作者联系！