如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8

重复数据删除技术背景

如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8_第1张图片
在网络上分接多个点可能会导致同一数据包被多次复制,尤其是东西向流量和SPAN端口流量。这可能会对各种工具的性能产生负面影响,因为它们不仅需要多次处理相同的流量,而且在许多情况下执行重复数据删除会进一步消耗资源。在某些情况下,重复的数据包甚至可能导致错误或带误差的结果。
性能弹性是指在在任何数据中心环境中的确保设备性能的能力。消除重复流量对于提高网络性能至关重要。这对于性能监控,网络安全或取证设备至关重要。重复数据会导致很多问题。显而易见的问题是,双倍的数据量需要双倍的处理能力,内存,电力等。
然而,主要问题是误报:假错误或者假威胁。重复影响分析的一种常见方式是增加TCP乱序或重传警告。调试这些问题需要大量时间,通常这些时间是工作量很大,人员不足的网络运营或安全团队所没有的。此外,基于此信息执行的任何分析可能都不可靠,所以只会让问题更严重。

在EXA8上实现删除重复数据

Cubro提供了很多选项,可在将流量转发给监控工具之前,根据用户可选择的参数进行重复数据删除。卸载这个资源密集型任务可以释放工具的处理资源,使其能够更有效地执行其设计任务。当开启重复数据消除功能时,EXA8将计算整个数据包的校验和(=hashkey)。完整的数据包意味着 它使用包括有效载荷在内的每一位来计算hash-key。Hash-key使用MD5进行计算,结果是16字节长 。Hash-key被存储起来,每个传入的数据包(=每个数据包一个hash-key)都会根据内存进行检查。 一旦发现内存中已经存在该hash-key,则将丢弃具有相同hash-key的数据包。
如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8_第2张图片

简单的操作

Cubro EXA8重复数据删除的操作很简单。如果流量到达10G端口1(X1)并应在10G端口2(X2)发送出去,它需要以下步骤:
1.通过拖放方式从X1到X2创建转发策略
2.在X1上启用重复数据删除功能
如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8_第3张图片

EXA8三大优势

1.大容量hash-key存储空间

Hash-key在一段时间后就过期了。这个时间称为检测窗口。EXA8的检测窗口是1000ms,因此,当一个重复的包在1000ms内到达时,EXA8会找到它并丢弃它。如果重复数据包在1000ms后到达,则没有发现重复的数据包!除了检测窗口外,Hash表的大小也很重要。EXA8有一个2M大小的Hash-key存储空间。当Hash表用尽时,它就会老化(FIFO原则)。Hash表的大小也决定了性能的极限。

允许删除数据包中的某些字段

EXA8的另一个重要特性是,它允许删除数据包中的某些字段。默认情况下,EXA8将比较完整的数据包,如果一个数据包看起来100%相同,则会丢弃该数据包。在某些情况下,数据包在有效负载方面仍然是重复的,但包头可能看起来不同。这种情况在处理镜像端口时很常见,例如入口镜像只有一个VLAN,而出口镜像有两个VLAN标签。 为了解决这一问题并仍然找到重复项,EXA8允许从Hash计算中删除以下字段:
TCP …忽略TCP报头中的Seq/Ack
TTL … 生存时间
MAC … 忽略MAC源和MAC目的
L2 … 忽略所有L2信息,包括MAC和VLAN
DSCP … 忽略层服务质量
Port …忽略输入端口
如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8_第4张图片

统计信息

EXA8还有更大的优势,因为它还提供了计数器统计信息来检查如何找到和删除重复项。
如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8_第5张图片

总结

Cubro EXA8是执行重复数据删除的理想工具,可以防止监控设备由于重复数据包而过载。EXA8是 基于新设计的ASIC和Octeon CPU的新一代Network Packet Broker(网络数据包代理,类似交换机的 设备)。EXA8提供了最大的灵活性,因为它结合了基于ASIC的经典NPB和高性能CPU,从而使其能 够在其上运行强大的应用程序。
EXA8是一款经济实惠的高性能通用开放式网络设备,设计独特,功能灵活。Cubro EXA8具有紧凑的尺寸,内置的TAP和功能强大的CPU,且价格低廉,是市场上同类产品中唯一的网络可见性探针。当前,Cubro为EXA8平台提供了三种不同的软件包。EXA8可以充当聚合器,捕获探针或Sessionmaster,具体取决于安装的软件。
如何简单实现网络重复数据删除(deduplication)?——性价比最高的网络数据包代理EXA8_第6张图片

你可能感兴趣的:(虹科网络安全与可视化,网络重复数据删除,网络监控,轻载网络监控工具,高性价比网络数据包代理,网络安全)