蓝信流量统计及概要日志系统

1．    产品简介

随着网络信息化的迅猛发展，用户的逐渐增多，使应用不断深入。众多如用户行为管理、非法行为的控制、公安部追查用户行为需一套记录用户行为的系统、当前日志系统记录信息过于庞大缺少实际应用、代理的使用、 bt 等下载软件的风行导致带宽压力、旁路式网络按流量计费需接入层交换机数据信息采集支持等问题相继而出。

解决这些矛盾需要一套强综合性的系统，蓝信流量统计及概要日志系统应运而生。该系统给网管人员提供了一个网络使用情况的汇总性信息：包括提供用户访问内网或者外网的 URL 摘要日志、 FTP 、 E_MAIL 、 MSN 日志；提供真实准确的在线时长，连接数，和平均速率；提供人性化友好的各种操作界面；提供可视化视图等。该系统除方便网管人员简易掌握网络运行状态外，更为网管者做用户上网行为审计、实现按流量计费、网络系统的优化等决策提供了极好的数据及图形基础，是网管员身边的好帮手。

蓝信流量统计及概要日志系统是一个旁路式系统，基于网络抓包原理分析网络报文并进行相应的统计处理。本系统无需接入层交换机的数据采集支持，一般是在出口交换机上做端口镜像，就可以轻易抓取访问外网的报文，极大的增强了系统的应用普遍性。由于采用旁路式系统，所以对网络性能没有瓶颈作用，而且也不影响网路的可靠性。

2．    特点描述

2.1    更精细的流量统计功能

工具版提供了按照 IP 进行流量统计的功能，并能够统计 P2P 流量，流量可按区域进行划分（流量划分的典型方法是国内、国外和免费三个域，从而统计出各个区域的总流量。）同时提供接口，可以和 raidus 系统结合实现按用户名方式的流量计费，并提供 radius 接口日志，便于在遇到网络异常的时候进行检测和故障分析。同时除了能支持电口和光口网卡外，还能同时采集多块千兆网卡。

本系统则在工具版的基础上，增加了全方位的数据分析和提取功能，使得对用户的上网行为有了更进一步的分析，比如，在线时长，速率，协议， IP 访问列表，内网 IP 与访问过的 IP 之间的协议和流量，连接数等。并且在每天、每周、每月都出一张对应的用户流量报表。

工具版是基于用户流量的统计，为流量计费系统提供数据基础；本系统则更多的是偏向于用户网络行为的分析监测，为网络管理员提供方便的网络分析依据。

2.2    更加强大的数据分析和处理能力

Ø  在线时长和速率

用户对网络资源的使用表现在两个方面：流量和在线时长。有时候可能会更偏向于把用户的在线时长作为计费的依据，比如电信的包月制度。不过该系统的时长计算更科学，只有在线并且在使用网络资源的时候才产生“在线时长”，对于在线但未使用网络资源的用户不进行时长累计。

同时还会计算出用户的上网速率，根据速率就可以反映出在最近一段时间内用户占用网络资源的情况。

Ø  连接数

连接数包括：主动连接数，主动连接成功数，主动复位数，主动关闭连接数；被动连接数，被动连接成功数，被动复位数，被动关闭连接数。如下图：

图 1 ：用户摘要信息

假设在网内有台主机中了病毒，那么它会主动向局域网内的多台主机发送连接报文，这样该 IP 的“主动连接数”就会远远大于“主动连接成功数”等等，诸如此类，我们就可以初步断定该用户使用网络的异常性。

Ø  IP 访问列表和长度

对于普通的上网用户，可能日常中只会访问像新浪，网易，搜狐之类的门户网站以及与之连接的周边网站，他所访问过的 IP 就会较少；喜欢使用 BT 下载的用户，则会在短时间内与很多的 IP 建立起连接，那么他所访问过的 IP 就相对很多。通过用户访问过的 IP 和 IP 列表的长度，网管员也可以了解到这些用户使用网络资源的情况。以下是某用户的 IP 访问列表：

图 2 ：用户的 IP 访问列表

Ø  在“区域”的基础上进行协议细分和点对点协议细分

通过对网络协议的分析来监视用户使用网络资源的情况是网络行为分析的一项重要指标。系统在按协议进行统计时，分别在“区域”的基础上进行了协议细分和点对点协议细分。如下图：

图 3 ：在域基础上的协议细分统计

图 4 ：点对点协议细分

Ø  指定 IP 监视

对于被怀疑的用户，如果想更进一步的跟踪和分析其上网行为，可以设置对这些用户的跟踪。系统会将这些用户的报文根据设置的条件完整的记录下来，并且保存为 sniffer 的格式，便于使用 sniffer 工具查看和分析。对了解这些用户的上网行为起到了很大的作用。

2.3    概要日志

提供了概要日志功能，可以记录网内用户所访问过的网页、发送和接收的邮件，以及 FTP 上传下载文件，使用 MSN 等信息，并且仅记录网页的 URL 、邮件头、 FTP 文件及大小，而不记录具体的内容，节省了存储的磁盘空间，极大的延长了用户日志数据的保存时间，并对 URL 日志进行分类。同时，还提供方便的图形配置工具，强大多样的日志保存方式，以及友好的日志查询界面。具体细分如下：

2.3.1        详尽的记录信息

记录了用户的访问过网站地址、使用 FTP 、邮件日志信息，包括了日志时间、用户名、用户 IP 、访问的 IP 等信息。当网络为静态 IP 时，用户名由特定文件给定；为动态 IP 时，用户名可由蓝信认证系统提供。

Ø  记录用户所访问过的网站地址

可以记录用户某一时间，访问过的 URL 地址，而不记录具体的网页内容；     提供 URL 过滤功能，可以将网页上的图片，脚本等无用的日志信息过滤掉；可以根据 URL 提供用户使用 HTTP 多线程方式下载的各线程下载的文件起始位置。

图 5 ： HTTP 日志文件格式

Ø  记录用户使用 FTP 工具上传、下载文件的信息

可以记录用户某一时间，使用 FTP 工具进行上传或下载的文件名称以及下载文件大小，而不记录文件的具体内容。

图 6 ： FTP 日志文件格式

Ø  记录用户发送邮件的信息，包括邮件发送者，邮件接收者，邮件主题等

可以记录用户某一时间，使用类似 Outlook 等邮件工具发送或接收的邮件的信息，如邮件发送者，邮件接收者，邮件主题等。 出于用户隐私的考虑，本工具仅记录了邮件头部分的相关信息，而没有对邮件内容进行记录。

图 7 ： E-MAIL 日志文件格式

Ø  记录用户使用 MSN 的信息，包括用户登陆，下线，所联系人记录和发送接收文件等信息。

可以记录用户某一时间，使用 MSN 的概要信息，如登陆时间，下线时间，联系过哪些联系人，接收和发送文件的名称和大小及发送和接收账号。 出于用户隐私的考虑，本工具没有对聊天内容进行记录。

 

2.3.2        强大多样的日志保存方式

Ø  保存到文本文件中

每天自动生成一个日志文件，用户可以选择将日志保存到文件中，并可根据需要设置文件的最大个数，当生成的日志文件个数超过给定的最大个数时，会进行循环替换。用户可以使用 excel 等工具进行查看，但此方法查询很不方便。

Ø  将日志导入到数据库中

提供将所有的日志信息自动导入到数据库中，并提供友好的基于数据库的 WEB 查询界面，从而能够方便用户快速查找详细的日志信息。每天晚上 12 点以后，系统会自动的将前一天生成的文本形式的日志文件导入到数据库中，并提供一定的容错机制，同时还提供用户手工将日志文件导库的功能，便于用户在由于数据错误数超过最大错误数，而导致自动导库失败时，将日志导入到库中。并且用户还可以根据自己的需求，决定数据库中保存几个月的日志信息。

图 8 ：数据库中日志

 

2.3.3        友好的日志查询客户端

该系统提供友好的 WEB 查询界面，通过此客户端，用户可以方便的查询详细的日志信息，同时也可以查询服务器的状态等相关信息。

图 9 、 WEB 日志查询界面

 

2.4    强大的配置功能

系统提供了完善友好的配置工具可以对服务器的各项参数进行相应的配置。包括网卡设置，服务等级设置，系统接口设置， ACL 设置，详细的区域和网段的配置以及协议配置和关于 URL 的选择过滤设置。以下是配置工具的部分界面截图：

图 10 ：网卡设置

2.5    可视化图形报表

为了便于网管员轻松及时地了解网络的运行情况以及一些特殊用户，系统提供了全面实时的直线图，柱状图，饼图等来直观的显示网络的概况。以下是一些视图：

图 11 ：网络流量图和网络协议图

图 1 ２：流量最高的 10 个用户

图 1 ３：热门网站排名

图 1 ４：端口分布图

 

随着版本的进一步发展，本系统还将把网络设备的 MIB 信息以及日志信息采集过来，这样综合 IP 流量、设备状态等综合确定网络运行状态。

此外，本系统会朝着为网管人员监控网络运行状态，发现网络异常的方向进一步发展。届时将提供一些自动告警机制，每日、月网络运行报告等网络状态统计功能等。