网络流量分析利器-可视化网络-netflow【1】-基础原理
网络流量分析利器-可视化网络-netflow【2】-Cisco NetFlow 工作原理介绍及配置
网络流量分析利器-可视化网络-netflow【3】-netflow版本5和版本9区别
网络流量分析利器-可视化网络-netflow【4】-接收器nfdump简介
网络流量分析利器-可视化网络-netflow【5】-linux下数据采集器fprobe
网络流量分析利器-可视化网络-netflow【6】-生产网流量监控架构设计
fprobe参数 -e
fprobe参数 -n -k

需求

你可能想看到这样的流量分析:

网络流量分析利器-可视化网络-netflow【1】-基础原理_第1张图片

但是你用成熟的第三方工具可能只能的到这样的效果:

网络流量分析利器-可视化网络-netflow【1】-基础原理_第2张图片

现有的snmp协议可以获取交换机的接口流量,我们可以利用成熟的工具zabbix或者openflacon,但是此数据只是接口进出总流量,并不能具体体现A虚拟机和B虚拟机的互访的流量大小,这个问题严重影响了成本核算安全监控等问题,如果能准确获得流量大小,就能进行跟多的分析和研究,netflow协议就能完美解决此问题。

netflow历史

NetFlow是思科公司作为一项专有技术最先开始研发的。目前最广泛应用的是V5,V7和V9版本,支持NetFlow的厂商包括Cisco、Juniper等。

Netflow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的,并于同年5月注册为美国专利,专利号为6,243,667。Netflow技术首先被用于网络设备对数据交换进行加速,并可同步实现对高速转发的IP数据流(Flow)进行测量和统计。经过多年的技术演进,Netflow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现,而对流经网络设备的IP数据流进行测量和统计的功能也已更加成熟,并成为了当今互联网领域公认的最主要的IP/MPLS流量分析,统计和计费行业标准。Netflow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量,并提供网络运行的详细统计数据。
在Netflow技术的演进过程中,思科公司一共开发出了5个主要的实用版本,即:

  • Netflow V1,为Netflow技术的第一个实用版本。支持IOS 11.1,11.2,11.3和12.0,但在如今的实际网络环境中已经不建议使用。
  • Netflow V5,增加了对数据流BGP AS信息的支持,是当前主要的实际应用版本。支持IOS 11.1CA和12.0及其后续IOS版本。
  • Netflow V7,思科Catalyst交换机设备支持的一个Netflow版本,需要利用交换机的MLS或CEF处理引擎。
  • Netflow V8,增加了网络设备对Netflow统计数据进行自动汇聚的功能(共支持11种数据汇聚模式),可以大大降低对数据输出的带宽需求。支持IOS12.0(3)T,12.0(3)S,12.1及其后续IOS版本。
  • Netflow V9,一种全新的灵活和可扩展的Netflow数据输出格式,采用了基于模板(Template)的统计数据输出。方便添加需要输出的数据域和支持多种Netflow新功能,如Multicase Netflow,MPLS Aware Netflow,BGP Next Hop V9,Netflow for IPv6等。支持IOS12.0(24)S和12.3T及其后续IOS版本。在2003年思科公司的Netflow V9还被IETF组织从5个候选方案中确定为IPFIX(IP Flow Information Export)标准。

netflow原理

被监控的交换机,将端口进方向的数据包进行分析,把相关信息(源地址,目的地址,源端口,目的端口,协议,包大小等信息)放进NetFlow包中,发到收集器(netflow collector)中,这个处理过程将消耗被监控设备的cpu和内存。收集器(监控软件,都是第三方的)将数据进行整理,呈现报表。

优点

  • 相比较snmp我能看到四层以下的数据,更清晰的洞察网络流量走向。
  • 相比较镜像,netflow数据使用更少的存储空间。
  • 可以进行深度分析,比如排查***者行为,统计公网使用量,快速定位专线使用大户,甚至可以自动化下发策略。

缺点

  • 没有现成的第三方工具进行分析,需要自己二次开发。(后续解决)
  • 相对于snmp,需要更大的空间进行存储
  • 需要交换机支持或者使用linux镜像服务器