网络分流器｜10Ｇ网络分流器：传统产品与新的挑战

10G网络分流器：传统产品与新的挑战
网络分流器（Network Distributor）是一种网络流量过滤采集设备，工作在第三、四层，专门用于互联网流量分析领域，是一种为降低后端分析而进行流量过滤、衰减、交换和分流的设备。目前已有的戎腾网络分流器包括千兆、10G（POS、WAN、LAN）、40G（POS、LAN）、100G以太网、PON（EPON、GPON）、WIFI、3G和LTE等。

网络分流器有时候又称为流量采集器（Traffic Collector）或者网络探针（Network Probe）。
1．引言｜网络分流器
10G骨干链路从2003年开始在运营商部署应用，到现在已经有十多年了。10G链路又分为10G LAN（以太网）、10G POS和10G WAN。十年以前，在这类链路上执行网络监控、信令分析、大数据分析、IDC防护和内容审计对各个厂商而言都是比较大的挑战，这主要是因为：
（1）当时，10G骨干链路技术只掌握在路由器厂商手中，而路由器厂商相对比较强势。分流器需要大容量规则、分组分流、特征模式、DNS规则、两级表过滤、输出QoS、动态IP监控等特殊功能，要求硬件生产厂家必须深入创新，开发新的产品。但是路由器厂商认为这是一个小众市场，不愿意投入人员来研发，而是使用路由器（或者是经过局部修改的路由器线卡）充当分流器，而流量分析领域的厂商不具备议价和协商的能力。
（2）分析领域厂商本身对业务和加速能力缺乏完整理解，分析领域厂商擅长于从普通以太网网卡捕获报文，然后用软件方式进行流重组和协议分析，其所有的技术沉淀都在X86平台上。这类解决方案需要大量的服务器以集群方式堆积来形成完整的10G链路分析系统，性能通常不会很高。
（3）以前的服务器的处理能力有限，因为核比较少，内存访问的延迟无法隐藏，即使经过反复的优化，也无法达到Gbps以上的处理性能。当前的形势已经完全不一样，分流器领域竞争激烈，形成了戎腾网络且分析领域厂商经过十年的积累已经对业务有了较好的沉淀，敢于提出自己的需求，也深刻了解了计算负载如何在硬件和软件之间分配。另外，服务器的流量处理能力也从300-400Mbps提高了2Gbps左右。因此，10G分流器当前面临着要增加新的功能、增加密度并进一步降低成本的问题。
2．挑战｜戎腾网络分流器
估计目前在全国范围三大运营商中，骨干链路和骨干链路边缘的10G光纤（包括10G LAN、10G WAN和10G POS）达到了万条左右的规模。在如此多的链路上部署审计和信令分析系统，面临一些新的挑战：
（1）如何保护用户投资并扩展单机箱对不同链路的支持能力：运营商的网络是逐步建设起来的，这决定了在一个城市，链路种类比较多，包括2.5G、10G、40G和100G等多种。即使在10G链路上，又分为10G以太网LAN、10G以太网WAN和10G POS等形态。很多时候，分析厂商可能直到上线才知道链路层的协议类型。
（2）如何增加产品的密度：由于链路多、种类复杂，设备的密度最好比较高，体系比较小，功耗比较低。
（3）精细分流能力：能够在流一级基于DPI（深度报文检测）过滤掉绝大部分的流量，这样才能有效降低后端分析服务器的负载。
（4）性价比：十年以前，分流器占到整体解决方案成本的50%，目前虽然降到了20%左右，但是成本仍然是厂家重要的考虑因素。
3．解决方案
传统10G分流器一般只有简单的协议转换、万条级的多元组过滤、分组分流等功能，随着技术的发展，支持串规则、流管理、DNS规则、千万条以上多元组规则等应用需求被挖掘出来，需要硬件厂商具备更强的研发实力和技术沉淀。新型分流设备一般采用图1所示的处理流程。
图1 新型10G分流设备处理流程
在整个处理流程中，数据提取针对不同的链路执行不同的功能，如普通以太网采用PHY芯片完成此功能，而POS和WAN则需要Framer。多元组过滤和内容过滤有软件和硬件两种处理方式。其中内容过滤的处理能力十分关键，在2.5G/s POS链路上最大报文吞吐率为6Mpacket/s，每一个报文的最短处理时间为167ns。10G/s POS链路的最大报文吞吐率为26Mpacket/s，每一个报文的最短处理时间为37ns。当前，在高速关键字匹配方面，有FPGA+SRAM、TCAM以及纯软件几种方式，分别有其相应的优缺点。使用TCAM（Ternary Content Addressable Memory）进行关键字过滤具有速度快、规则动态性好等特点，但是由于TCAM是基于最先匹配的，即只能报告最先匹配的地址。而内容审计和应用行为分析是基于多匹配的，即同一个报文可能匹配多个关键字，且TCAM具有长度受限的特点。TCAM用于解决内容模式多匹配，要解决长规则和规则存储顺序两个问题。链接共享多匹配（Linking Shared Multi-Match，LSMM）是一种较好的解决方案。其基本思想是：TCAM每个表项由前段号和段内容组成。若TCAM中存储有n个表项，则需要在每个表项中扩展位用于存储前段规则的地址（前链域）。每次进行匹配前，将要匹配的内容前面加上前链域，送入TCAM器件进行匹配。命中规则的前缀段时，需要将其记录到存储器中，称之为部分命中表，记录命中的报文位置和段索引。通过TCAM良序的规则分配方法，将规则长度任意的规则集分配存储到TCAM中之后，则对任何匹配规则集中多个规则的报文，不会遗漏任何一次匹配。大规模流管理是另一项关键技术，好的散列方式，并在DDR的多个通道和Bank之间并行访问存储器，可以提高部分性能。另外，可以通过智能流表分配、无锁定超时、多通道虚拟队列等配套技术来提高流管理的性能。综合考虑设备的密度、体积、功耗和成本，戎腾网络的10G分流器（包括PET160A、PET160B、PET320A和PET320B）通过多元组过滤、流管理和DNS规则对报文进行过滤，能够执行更精细的流量分类。PET设备采用模块化结构，可以扩展子卡来增加对接口的支持能力。独有的多链路协议封装（MPE）使得数据提取模块组件化，可以在1U机箱内支持32个网口，每个网口可以是千兆以太网、2.5G POS、10G LAN、10G POS、10G WAN、40G以太网等不同类型，且每个接口的输入和输出可以完全不同，用户可以自由配置，除40G以太网需要配置不同的子卡之外，其他接口都可以采用一种子卡（只需要进行软件配置）。图2 PET160

图3 PET320
这让用户的选择余地更多，如果只有1-2对链路，可以使用PET160配置一块子卡。如果链路比较多，可以选择PET320满配。超过PET320链路容量时，可以使用PET设备串接。如图4所示，3台PET320B可以实现92个接口流量的输入，最大容量达到920Gbps。如果继续扩展，可以增加更多的输入接口，且其输入链路类型可以各不相同。这显著地增加了系统的可扩展性，保护了用户的投资。
图4 PET320串接部署

4．网络分流器｜结论
在高速网络环境下，随着主干网络带宽和流量的急剧增加，复杂网络应用的层出不穷，传统网络IDS、内容审计系统、信令分析系统在数据捕获和数据处理方面面临很大的挑战。10G分流器是一个复杂的系统，设计和实现这样的系统需要综合考虑成本、体积、功耗、密度，以及所需要的精细分流功能｜戎腾网络分流器