网络流量采集（一）概述

引言

网络流量是单位时间内通过网络链路的数据包的总体，是衡量网络负荷和转发性能的基本指标。网络流量监测即抓取网络中传输数据包的总体数据并统计，而采集网络流量数据是对网络IP数据报文的收集。

随着数据中心网络规模扩大，承裁应用系统越来越丰富，网络结构也越来越复杂，各项网络服务对网络资源要求越来越高，网络的安全威胁也越来越多，运维精细化要求不断提高，网络流量采集分析已经成为数据中心基础设施不可缺少的分析手段，通过网络流量深度分析，网络管理人员能够更直观地加快故障定位、分析应用数据，优化网络结构、系统性能和安全控制，加快故障定位。网络流量采集是流量分析体系的基础，一个覆盖全面、合理有效的流量采集网络，有助于提高网络流量的采集、过滤和分析效率，满足不同角度的流量分析需求，优化网络和业务性能指标，提高用户体验和满意度。

研究网络流量采集的方法以及流量采集工具对有效地了解和利用网络、准确地监测和分析网络具有非常重要的意义。

网络流量采集的价值

对于数据中心运维来说，通过建立统一的网络流量采集平台，结合各监控分析平台可以极大提升运维管理和业务连续性管理水平。

1.提供监控分析数据源：通过网络流量采集获取的网络基础架构上业务交互的流量，可为网络监控、安全监控、大数据、客户行为分析、访问策略需求梳理优化、各类可视化分析平台以及成本分析、应用扩容、迁移等提供所需的数据源。

2.补全故障举证溯源能力：通过网络流量采集可以实现对历史数据进行回溯分析和故障诊断，为开发、应用、业务部门提供历史数据支撑，彻底解决取证难、效率低，甚至互相推诿的问题。

3.提升故障处理效率:通过为网络、应用监控、安全监控等平台提供统一的数据源，可消除原有各监控平台存在采集信息来源不一致、信息不对称问题，提升各类突发事件处置效率，快速定位问题，恢复业务，提高业务连续性水平。

网络流量采集的分类

网络流量采集主要是对计算机网络数据流的特性和变化情况进行监测和分析，以掌握整个网络的流量特性。根据所获得网络流量来源的不同，将网络流量分为网络节点端口流量、端到端的IP流量、特定服务的业务流量以及完整的用户业务数据流量。

1、网络节点端口流量

网络节点端口流量指的是网络节点设备端口流入和流出的数据包的信息统计。它包括数据包的个数、字节数、包大小分布、丢包数等非常多的统计信息。

2、端到端的IP流量

端到端的IP流量指的是在网络层从一个源到一个目的IP包的统计信息。相对于网络节点端口流量而言,端到端的IP流量包含了更为丰富的信息,通过对它的分析,可以了解到网络中的用户都访问了哪些目的网络,是网络分析、规划、设计和优化的重要依据。

3、业务层流量

业务层流量除了包含端到端IP流量的信息之外,还包含了第四层(TCP层)的端口信息。显而易见,它包含了应用服务的种类信息,利用这些信息可以做更详细的分析。

4、完整的用户业务数据流量

完整的用户业务数据流量对于安全、性能等方面的分析非常有效，捕捉完整的用户业务数据需要超强的捕获能力和超高的硬盘存储速度和容量。例如捕捉黑客的来访数据包可以制止某些犯罪行为或得到重要的证据。

网络流量采集常用方法

按照网络流量采集的特点和处理方式，流量采集可分为以下几类：部分采集和完全采集、主动采集和被动采集、集中式采集与分布式采集、硬件采集和软件采集等。随着流量采集的发展，基于以上的分类思想，产生了一些高效实用的流量采集方法。

网络流量采集技术主要包括：基于流量镜像的监测技术、基于实时抓包、基于SNMP/RMON的监测技术、基于Netflow/sFlow等网络流量分析协议的监测技术这4种常用技术，而其中基于流量镜像的监测技术又包括基于虚拟TAP的方式和基于硬件探针的分布式方式两种。

1、基于流量镜像监测

基于网络流量全镜像的监测技术其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备，实现网络流量的无损复制和镜像采集。对于全网的监测需要采用分布式方案，在每条链路部署一个探针，再通过后台服务器和数据库，收集所有探针的数据，做全网的流量分析和长期报告。和其他流量采集方式相比，流量镜像采集的最大特点是能够提供丰富的应用层信息。

2、基于实时抓包监测

基于实时抓包分析技术主要提供详细的从物理层到应用层的数据分析，侧重于协议分析，在短时间内抓取接口的数据包进行分析，经常用来实现网络性能和故障的快速诊断和解决。存在以下缺点：不能实现大流量、长时间的抓包，不能对用户的流量趋势做出分析。

3、基于SNMP/RMON的监测技术

基于SNMP/RMON协议的流量监测，通过网络设备MIB收集一些具体设备及流量信息有关的变量。包括：输入字节数、输入非广播包数、输入广播包数、输入包丢弃数、输入包错误数、输入未知协议包数、输出包数、输出非广播包数、输出广播包数、输出包丢弃数、输出包错误数等。由于目前大多数路由器都支持标准的SNMP，这种采集方法的优点在与无需额外数据采集设备。但是只包括字节数、报文数等最基本的内容，不适用于复杂的流量监测。

4、基于Netflow的流量监测技术

基于Netflow的流量监测，提供的流量信息扩大到了基于五元组（源IP地址、目的IP地址、源端口、目的端口、协议号）的字节数和报文数统计，可以区分各个逻辑通道上的流。该监测方法，信息采集效率高，缺点是不能分析物理层和数据链路层信息，需要消耗一定的路由资源，通常需要在网络设备上附加单独的功能模块实现。