【网络】网络流采集协议(NetFlow、NetStream、CFlowd、sFlow、IPFIX等各厂家协议标准)

http://m.baidu.com/sf_bk/item/netstream/1965126?fr=aladdin&ms=1&rid=9246870619251196919

netstream提供报文统计功能,它根据报文的目的ip地址、目的端口号、源ip地址、源端口号、协议号和tos来区分流信息,并针对不同的流信息进行独立的数据统计。

系统组成

1、NDE(NetStream Data Exporter,网络流量采样)。NDE负责对网络流进行采集和发送,提取符合条件的流进行统计,并将统计信息输出给NSC设备。输出前也可对数据进行一些处理,比如聚合。配置了NetStream 功能的设备在NetStream 系统中担当NDE 角色。

2、NSC(NetStream Collector,网络流量采集)。NSC通常为运行于Unix 或者Windows 上的一个应用程序,负责收集和存储来自NDE的报文,把统计数据收集到数据库中,可供NDA进行解析。NSC可以采集多个NDE设备输出的数据,对数据进行进一步的过滤和聚合。

(3)NDA(NetStream Data Analyzer,网络流量分析)。NDA是一个网络流量分析工具,它从数据库中提取统计数据,进行进一步的加工处理,生成报表,为各种业务提供依据(比如流量计费、网络规划,攻击监测)。通常,NDA具有图形化用户界面,使用户可以方便地获取、显示和分析收集到的数据。

工作机制

(1)交换机把采集到的流的详细信息定期发送给nsc(netstream collector,网络流数据收集器);

(2)信息由nsc初步处理后,发送给nda(netstream data analyzer,网络流数据分析器);

(3)nda对数据进行分析,分析结果用于计费和网络规划等。

Netstream的实现

启用Netstream功能后,流信息首先被存储在netstream缓冲区中进行统计,当到达设定的老化(aging)时间后,系统就将流统计信息通过netstream统计输出报文(即,流信息经过udp封装以后产生的报文)发送给nsc,并将该流信息删除。

分类

这是一种基于“流”来实现对报文统计的技术,网络流就是IP报文,可以是TCP报文、UDP报文、ICMP报文等。

对于IPv4报文:网络流会根据IPv4的源目IP地址、源目端口号、协议号、ToS服务类型、输出/入接口来定义流,相同的七元组标识为同一条流。

老化方式

Netstream流老化

网络流老化是向NSC输出统计信息的前提,当Netstream缓存区达到符合输出的条件时,网络流才会输出至NSC,让NSC进行进一步的分析的做表。

流老化有五种方式

1、按活跃时间老化:当一条流的活跃时间(从流创建起到当前时间)超过所配置的时限时,流信息将被老化。

2、按不活跃时间老化:当一条流的不活跃时间(从最后一个报文流过到当前时间)超过所配置的时限时,流信息将被老化。

3、按TCP连接的FIN和RST报文触发老化:对于TCP连接,当有FIN或者RST报文发送时,说明一次会话的结束,因此,当一条已经存在TCP协议Netstream流中流过一条有FIN或者RST标志的报文时,会立即该流老化。

4、统计字节超过限制时老化:Netstream缓存区中的流需要记录流过的报文字节数,当字节数超过自定义的变量时,就会造成流溢出,所以系统在检测到某条流的字节数超过限制时,为了避免发生计数错误,会立即对该流进行老化。

5、强制老化:管理员可以通过手工输入命令的方式对流进行老化处理。该功能主要是对未满足老化条件的流进行老化,比如未到老化时间但又需要最新的老化流来统计信息,或者Netstream业务出现故障,需要对缓存区中的流进行全部老化处理。

输出方法

网络流输出指的是当Netstream缓存区中的流达到老化条件时,向NSC输出老化流的过程,方便NSC形成数据库便于后续分析。

Netstream流输出方式

1、原始流输出:所有流信息都要被统计,在达到流老化的条件后,Netstream缓存区中的流全部都要输出到Netstream服务器。优点是可以知道每条流的详细统计信息。缺点是消耗大量的网络资源与CPU资源。

2、聚合流输出:在原始流的基础上,对流进行分类和聚合,抽取能“代表”大部分流的流上传到Netstream服务器,从而得到聚合后的统计信息,能节省网络资源的开销和CPU的负荷。

3、灵活流输出:这种方式最为灵活,可以自定义形成流的条件,这些条件可以是协议号、源目IP地址、源目端口号等方式,从而进行分类的流统计,可以得到”最想要“得到的流统计信息。同时也减少了对网络带宽的消耗。

版本格式

一共有V5、V8、V9和V10四个版本。

版本5:根据七元组产生原始的数据流,但报文格式固定,不易扩展。

版本8:支持聚合输出格式,但报文格式固定,不易扩展。

版本9:基于模板方式,使统计信息的输出更为灵活,可以灵活输出各种组合格式的数据。版本9支持对BGP下一跳、MPLS等统计输出。

版本10:基于模板方式,根据数据流特征输出统计信息。具有很强的可扩展性,对于不同的需求输出不同格式的数据。

你可能感兴趣的:(【网络】网络流采集协议(NetFlow、NetStream、CFlowd、sFlow、IPFIX等各厂家协议标准))