浅谈IDC的流量分析

1. 背景概述

    在上个世纪90年代中期IDC刚刚在国内兴起的时候，IDC的出口带宽还很小，后来慢慢地从百M扩展到千M，一直快速发展到现在的10G，甚至几十个G，接口类型也从以前的ATM发展到现在的POS 。 出口带宽越来越大，IDC流量分析的基础组成部分--流量采集技术也随之一直在变化。

    在百M和千M出口带宽时代，使用端口镜像技术就可以对IDC的所有出入流量进行完整的采集，然而进入2.5G/10G/40G接口时代后，端口镜像 、探针和旁路监测技术 的流量全采集方式无疑部署越来越麻烦，部署的层级需要不断地往下移，需要部署的点越来越多，造成部署成本高昂，这样的流量采集技术目前已经在IDC的实际应用中逐渐被淘汰了 。

    为了应对巨大流量背景下分析流量的来源和去向及流量的应用类别，设备厂家们提出了FLOW的概念，像CISCO的NETFLOW，Juniper的CFlowd，HP/NEC/Alcatel/Foundry,Extreme等的sFlow，华为的NETSTREAM等等，尤其是CISCO的NETFLOW已经在IDC里得到了广泛的应用 。

2. 为什么需要流量分析

网管人员在日常的IT管理中，经常都会面临下面的一些情况：

外部流量是从哪里来的 ? 

是否有不友善的攻击行为 ?

本网的流量都到哪里去了 ? 

如何做实时的细节分析 ?

本网内各个 IP 的流量使用情况如何 ?

是哪些 IP 地址或是应用层协议造成网络的拥塞 ?

在我的网络里各种应用层协议的流量比例各是多少 ?

如何调配多条对外线路间的流量以达到负载均衡  ?

如何预测网络流量的增长，在多久之后需要进行扩建 ?

流量分析系统就是为了解决这些问题而产生的！！！

3. IDC流量的采集方式

    单纯的从流量数据的采集方式上来看，可以分为SNMP，端口镜像/ 探针 / 旁路 ，FLOW，RMON等几种主要方式，其中SNMP主要应用于设备接口的流量数据采集，如采集某个交换机端口的流入流出字节数，包数等；端口镜像 / 探针 / 旁路 主要应用于千兆以下的端口的全流量采集，这种方式下采集的数据可以进行数据包内容的分析，也即现在非常热的所谓的DPI（深度包检测）；而各种FLOW技术则是设备按照一定的采样比进行网络五元组（源IP+源端口+目的IP+目的端口+协议类型）的统计，然后输出统计后的流记录 。

从IDC流量的实际应用来说，这几种方式都有其应用的场景，比如SNMP技术采集到的交换机端口的接口流量可以反映网络内的流量分布和带宽占用情况，同时也可以反映设备的工作状态，如丢包率，错误包率等。而端口镜像/ 探针 / 旁路 等全流量采集技术则可结合深度包检测技术在自动监测IDC托管的各类网站、论坛是否含有非法、黄色的内容的场合下发挥独特的技术作用。FLOW技术则在IDC的流量流向分析、异常流量分析等应用中独具扩展性。

4. IDC流量的７个关键呈现视图

   那么从IDC流量分析的日常需求来看，要想帮助IDC真实地、更好地反映网络内的流量情况，流量分析系统需要具备以下的７个视图，这７个视图将会分别从不同的角度为IDC准确分析流量提供直观的呈现 。

2.1  流量流向视图

    流量流向视图主要是结合AS域准确反映本地网络的流量的流向和来源，在这个视图中，将可以很直观地看出访问本IDC网络的流量主要从哪些省和哪些运营商处来，通过在本省城域网的出口上分析流量，也可以很直观地看出本省的流量主要发送到哪些省和哪些运营商处去了，这些分析数据为IDC托管业务的发展提供了可靠的决策依据。

2.2 子网流量视图

    子网流量视图可以很直观地呈现本地网络内的不同子网的流量，通过TOP N分析可以直观地反映子网的排名情况。

2.3 客户流量视图

客户流量视图是从IDC的客户的角度来呈现网络流量的，可以很直观地呈现出每个IDC客户的实时流量排名及其应用的流量排名。

2.4 骨干流量视图

骨干流量视图反映的是IDC的骨干网络设备之间的流量分布和带宽占用情况。

2.5 应用流量视图

应用流量视图反映的是IDC托管的应用的流量情况，如WWW，ＦＴＰ，视频，P2P等应用的流量分布情况。

2.6 拓扑流量视图

拓扑流量视图反映的是IDC的网络拓扑设备之间的流量分布和带宽占用情况。

2.7 异常流量视图

异常流量视图反映的是IDC的网络异常流量的详细信息，这里可以结合镜像等全流量采集技术将异常流量的内容抓下来进行分析，方便定位故障。

5. 流量预警模型

由于ＩＤＣ的网络流量增长迅速，常见的报警阀值式的策略配置在实际应用中意义不大，有必要建立新的流量预警模型来进行更有效的预警。结合前面的《关于网管软件中的预警功能设计.doc》文章中的内容我们可以知道，基线预警的模型应用在这里是再合适不过了，基线预警的详细内容请参考前文。这里就不做过多的阐述了。

参考：关于网管软件中的预警功能设计.doc

本文出自 “阿贵谈IDC” 博客，转载请与作者联系！