如何简单实现网络重复数据删除（deduplication）？——性价比最高的网络数据包代理EXA8

重复数据删除技术背景

在网络上分接多个点可能会导致同一数据包被多次复制，尤其是东西向流量和SPAN端口流量。这可能会对各种工具的性能产生负面影响，因为它们不仅需要多次处理相同的流量，而且在许多情况下执行重复数据删除会进一步消耗资源。在某些情况下，重复的数据包甚至可能导致错误或带误差的结果。
性能弹性是指在在任何数据中心环境中的确保设备性能的能力。消除重复流量对于提高网络性能至关重要。这对于性能监控，网络安全或取证设备至关重要。重复数据会导致很多问题。显而易见的问题是，双倍的数据量需要双倍的处理能力，内存，电力等。
然而，主要问题是误报：假错误或者假威胁。重复影响分析的一种常见方式是增加TCP乱序或重传警告。调试这些问题需要大量时间，通常这些时间是工作量很大，人员不足的网络运营或安全团队所没有的。此外，基于此信息执行的任何分析可能都不可靠，所以只会让问题更严重。

在EXA8上实现删除重复数据

Cubro提供了很多选项，可在将流量转发给监控工具之前，根据用户可选择的参数进行重复数据删除。卸载这个资源密集型任务可以释放工具的处理资源，使其能够更有效地执行其设计任务。当开启重复数据消除功能时，EXA8将计算整个数据包的校验和（=hashkey）。完整的数据包意味着 它使用包括有效载荷在内的每一位来计算hash-key。Hash-key使用MD5进行计算，结果是16字节长 。Hash-key被存储起来，每个传入的数据包（=每个数据包一个hash-key）都会根据内存进行检查。 一旦发现内存中已经存在该hash-key，则将丢弃具有相同hash-key的数据包。

简单的操作

Cubro EXA8重复数据删除的操作很简单。如果流量到达10G端口1（X1）并应在10G端口2（X2）发送出去，它需要以下步骤：
1.通过拖放方式从X1到X2创建转发策略
2.在X1上启用重复数据删除功能

EXA8三大优势

1.大容量hash-key存储空间

Hash-key在一段时间后就过期了。这个时间称为检测窗口。EXA8的检测窗口是1000ms，因此，当一个重复的包在1000ms内到达时，EXA8会找到它并丢弃它。如果重复数据包在1000ms后到达，则没有发现重复的数据包！除了检测窗口外，Hash表的大小也很重要。EXA8有一个2M大小的Hash-key存储空间。当Hash表用尽时，它就会老化（FIFO原则）。Hash表的大小也决定了性能的极限。

允许删除数据包中的某些字段

EXA8的另一个重要特性是，它允许删除数据包中的某些字段。默认情况下，EXA8将比较完整的数据包，如果一个数据包看起来100%相同，则会丢弃该数据包。在某些情况下，数据包在有效负载方面仍然是重复的，但包头可能看起来不同。这种情况在处理镜像端口时很常见，例如入口镜像只有一个VLAN，而出口镜像有两个VLAN标签。 为了解决这一问题并仍然找到重复项，EXA8允许从Hash计算中删除以下字段：
TCP …忽略TCP报头中的Seq/Ack
TTL … 生存时间
MAC … 忽略MAC源和MAC目的
L2 … 忽略所有L2信息，包括MAC和VLAN
DSCP … 忽略层服务质量
Port …忽略输入端口

统计信息

EXA8还有更大的优势，因为它还提供了计数器统计信息来检查如何找到和删除重复项。

总结

Cubro EXA8是执行重复数据删除的理想工具，可以防止监控设备由于重复数据包而过载。EXA8是 基于新设计的ASIC和Octeon CPU的新一代Network Packet Broker（网络数据包代理，类似交换机的 设备）。EXA8提供了最大的灵活性，因为它结合了基于ASIC的经典NPB和高性能CPU，从而使其能 够在其上运行强大的应用程序。
EXA8是一款经济实惠的高性能通用开放式网络设备，设计独特，功能灵活。Cubro EXA8具有紧凑的尺寸，内置的TAP和功能强大的CPU，且价格低廉，是市场上同类产品中唯一的网络可见性探针。当前，Cubro为EXA8平台提供了三种不同的软件包。EXA8可以充当聚合器，捕获探针或Sessionmaster，具体取决于安装的软件。