网络流量分析之流量采集到流量还原

      网络流量贯穿业务流转的各个环节，从我们个人PC、手机，到IDC数据中心、WEB和APP应用等都需要通过网络流量完成数据交互。因此，根据"只要有攻击就会有流量产生"这样的朴素道理，无论是网络层的防DDoS、主机层的防入侵还是应用层防漏洞，都是围绕网络流量分析展开，基于NTA网络流量分析的安全产品在安全领域始终占据举足轻重的地位。

      本文根据近来做IDS入侵检测流量分析相关的经验，基于流量分析的常见应用形式，总结流量分析常用的技术手段，包括流量采集常用的方法及工具，以及流量还原技术的基本原理。

为什么需要流量分析？

      要了解网络真实的运行情况，及时发现运行中存在的问题，必须对网络流量有一个全面了解。不同的应用层面，流量分析起到的作用不同，比如运营商需要通过分析用户网络流量来计算网络消费、掌握用户对其他运营商的访问情况，为网络出口互联链路的设置提供决策数据支撑等；业务应用层如网站提供方则通过流量分析了解网站访客的数据，如IP地址、浏览器信息等，统计网站在线人数，了解用户所访问网站页面，通过分析出异常帮助网站管理员知道是否有滥用或者攻击现象，了解网站使用情况，提前应对网站服务器系统的负载问题等；而安全监测领域则通过流量分析实现对网络异常通信的监测，防范常见的网络入侵、DDOS攻击和疆木蠕感染传播等。

如何进行流量分析？

      面对复杂多变的规模庞大的网络环境，需要一个能够适应不同环境和高效分析处理的系统。首先我们需要对不同的采集技术有初步的认识。

网络流量分析的常用技术手段：

1. 基于硬件探针的流量分析技术
   探针是专门用于获取网络链路流量数据的硬件设备。按实现方式可以分为软件架构和硬件架构。使用时是通过交换机流量镜像端口或直接将其串接在待观测的链路上，对链路上所有的数据报文进行处理，提取流量监测所需的协议字段甚至全部报文内容。最大特点是能够提供丰富的从物理层到应用层的详细信息，也就是目前基于NTA技术产品如IDS、NDR等最常用到的方案。
2. 基于SNMP的流量分析技术
   SNMP（SimpleNetworkManagementProtocol，简单网络管理协议）通常用于收集基本流量详细信息，例如字节/数据包，通过“利用网络管理网络”的方式，实现对网络设备的批量管理，从而提高设备管理效率。该方式仅能对网络设备端口的整体流量进行分析，能获取设备端口出入历史或实时的流量统计信息、不能深入分析包类型、流向信息，具有实现简单，标准统一，接口开放的特点。
3. 基于Netflow的流量分析技术
   NetFlow是Cisco公司开发的技术，它既是一种交换技术，又是一种流量分析技术，同时也是业界主流的计费技术之一。NetFlow可以对特定网络位置的每个数据包进行采样，可以详细统计IP流量的时间、地点、协议类型、包数量、字节数、流数量等。NetFlow会告诉您谁在消耗带宽以及消耗带宽的原因，相比SNMP更加细致，主要应用于骨干网流量采样、DDOS攻击检测等大流量分析领域。
4. 基于实时抓包分析的流量分析技术
   通过软件抓包工具如wireshark、tcpdump等进行实时抓包和分析，这也是个人用户做网络协议分析最常用的方式。该方式提供较为详细的从物理层到应用层的数据分析。但该方法主要侧重于协议分析，而非用户流量访问统计和趋势分析，仅能在短时间内对流经接口的数据包进行分析，无法满足大流量、长期的抓包和趋势分析的要求。

如何还原流量？

      原始的网络流量以二进制方式呈现，无法直接读取和应用，因此需要通过相关工具和技术，把网络流量变成更加容易读取的数据信息，在这过程中就要对采集到的网络流量进行解码和分析，包括识别流量中的协议、业务、提取流量中的原始文件等。

流量数据包解析还原的过程，就是是对二进制比特流中各个位置的字段进行提取和解析重组的过程。当中使用了多种技术，包括端口匹配、流量特征检测、自动连接关联和行为特征分析。

1）端口匹配：在网络协议发展的过程当中，已经形成了一系列的标准协议规范， 其中规定了不同协议使用的端口如80端口的HTTP协议、53端口的DNS协议等等，另外很多广泛使用的应用程序虽然没有别标准化，但已经形成了事实上的标准端口。端口匹配就是根据这些标准或非标准的对应关系，根据TCP/UDP 的端口来识别应用。这种方式具有检测效率高的优点，弱点是容易被伪造， 因此在端口检测的基础上，还需要增加一些特征检测的判断和分析，来进一步分析这部分数据。
2）流量特征检测：相对于端口，不同的应用程序使用的协议也存在大量的共性。这些共性就是所谓的流量特征。对于流量特征的识别，大致分为两种：一种是有标准协议的识别如HTTP、DNS，TCP/IP作为标准的通信协议，在对数据包链路层、网络层、传输层进行解码时，只需要参照标准格式规范进行解码分析即可；另一种是私有协议的识别，如果协议基于TCP或UDP协议采用的标准接口格式，只需要参照标准的格式进行解码分析即可，否则可能需要通过逆向工程分析协议机制，直接或解密后通过报文流的特征字段来识别该通信流量。
3）自动连接关联：随着互联网应用的发展，在互联网上传输的数据越来越多，单个连接完成所有任务的模式也逐渐开始出现瓶颈，因此很多协议开始采用动态协商端口的方式进行传输，这种模式最早出现在标准的 FTP 协议上，后来逐渐在语音、视频和文件的传输上面被广泛使用。为了识别这种数据，需要根据控制链接上面的报文信息，自动关联到数据传输的链接并对其进行还原，这种技术称为自动连接关联。
4）行为特征分析：针对一些不便于还原的数据流量，可以采用行为特征的方法进行分析。这种方法不试图分析出链接上面的数据，而是使用链接的统计特征，如特定的特征字段、连接数、单个IP的连接模式、上下行流量的比例、数据包发送频率等指标来区分应用类型。如分析RDP或者SSH登陆等加密流量，可能无法完全还原流量通信内容，但是通过流量报文中的特定字段可以识别出该报文是主机登陆行为，一旦这类行为的报文异常高频出现，就能够判断可能出现登陆爆破的行为。