小白的网络安全数据可视化笔记（一）

网络安全数据可视化

时隔数日，再次动笔写写笔记，这次的笔记是记录毕设的一些所学知识所用，毕设是面向入侵检测的网络拓扑可视化软件，所以这里写写网络安全数据可视化的一些学习进度和收获知识。同样我这个小白基本逗比，偶尔抽风，间断性犯懒，部分意见和见解相对主观，尽量不侵权，借鉴资料全部作为学习所用，论文是学校买好的。就这么一回事。

网络安全数据可视化综述

网络安全可视化是一个新兴的交叉研究领域，它通过提供交互式可视化工具，提升网络安全分析人员感知、分析和理解网络安全问题的能力．通过近些年来的研究，该领域的很多研究成果已经在网络监控、异常检测、特征识别、关联分析和态势感知等方面取得了重要进展．（节选自2.赵颖，樊晓平，周芳芳，等. 网络安全数据可视化综述[J]. 计算机辅助设计与图形学学报. 2014, 26(5): 687-697.）

一、网络安全数据介绍

简单来讲，其实就是在网络安全上进行数据可视化，所谓有数据就有可视化，其实就是这么一回事，数据可视化只有如何做不存在做不了。
网络安全数据可视化主要目的就是为了方便分析，当然这里不解释为啥，上述引用的论文讲那么清楚。
而问题主要在于网络安全可视化可视化的数据是什么

网络安全分析人员需要处理的网络安全数据种类非常多，其中最重要数据源来自各种网络监控设备．根据位于不同逻辑层次和不同物理位置的各种网络监控设备所采集信息的特点，可以将网络监控数据分3类：流量监控数据、状态监控数据和事件监控数据。如表所示。

二，数据可视化的研究方向是什么

1、网络监控

从各种网络监控设备获取的数据中了解网络运行状态是网络安全分析人员关注的最基本问题。

如图，就这么一回事。

2、异常检测

网络异常包括的范围很广，如流量的突变、设备的失效、越权的资源访问、可疑的主机行为等．有的异常是由于恶意攻击产生，而有的则是由于普通网络故障或者用户操作不当造成。

3、特征分析

网络安全中的特征分析和异常检测相辅相成，一方面分析人员需要对检测到的网络异常进行进一步的特征分析，从而达到识别网络攻击类型和选择防范措施的目的；另一方面，特征分析也可以帮助分析人员更好地进行异常检测。

4、关联分析

复杂的网络攻击都具有多步性和协作性的特点，如攻击者首先会通过端口和主机扫描寻找网络中的漏洞，然后利用漏洞注入木马、僵尸或其他恶意软件；当对网络有一定的控制能力后就会进行文件窃取、广告推送，甚至将网络中主机当作傀儡机，共同发起对其他网络资源的蛮力攻击。

当然这里只是综述，没有详细介绍，同时也没有义务把收费的文章贴出来吧，贴的只是一些大家都了解的部分啦。

大规模网络安全数据协同可视分析方法研究

网络安全可视化是近年来网络安全研究的热点，它通过提供有效的信息可视化工具，提升网络安全分析师在解决网络安全问题过程中的感知和认知能力，从而发现模式、识别异常和掌握趋势。（摘录自3.赵颖，樊晓平，周芳芳，等. 大规模网络安全数据协同可视分析方法研究[J]. 计算机科学与探索. 2014, 8(7): 848-857.）

一、为什么进行协同分析

原文里是引言部分，原文还是上边有节选部分的那篇文章。
就这个部分而言，因为原文讲的很详细，这里就不贴了，说说自己的领悟。我的理解就是协同分析的原因，一，数据量巨大，各种网安软件产生的记录，日志数量很多。二，本身网络安全攻击就存在复杂且有组织的攻击形式。三，割裂分析每一个数据部分很容易出现信息孤岛。
再简单概括一点，其实就是：那么大数据，你说相互没一点联系，我反正不信。联系着看，万一还能看出点东西就有意思了。
当然，这里实际可以印证的是确实是有联系，而且确实协同分析是有效的。这里摘录一点论文大神的设计思路。供……我自己参考……o(´^｀)o
（1）从多种异构的网络安全数据中提取具有统一格式描述的事件信息和统计信息，将多源数据融合起来作为可视分析的数据输入。
（2）构建基于网络拓扑结构的自动布局方法，它能够适应网络主机的动态变化，也可以更快捷地帮助用户定位异常。
（3）设计了基于雷达图和对比堆叠流图的可视化工具，帮助用户发现网络异常，识别攻击模式，分析事件关联。

二、数据处理

前边小白的可视化笔记里有过，数据处理是可视化的重要步骤，如何处理数据是重中之重。
面对记录结构和存储方式各不相同的异构日志数据源，首先要做的就是数据清洗。在数据清洗过程中主要的工作包括：建立统一的时间格式和完成时间同步，处理无效值和缺失值，提取需要的字段，最后存入统一的数据库中，形成原始的数据源。完成数据清洗后的网络安全数据就可以按需进行分析了，但是日志记录结构的不一致，对多源协同分析造成了巨大的障碍，数据融合势在必行。

定义1（网络安全事件） 本文网络安全事件表示为一个七元组
TupleEvent（Time，EventType，Priority，SourceIP，DestinationIP，SourcePort，DestinationPort），
七元组中的元素分别表示时间、事件类型、严重程度、源IP（Internet protocol）、目的IP、源端口与目的端口

定义2（网络安全时间序列函数） 本文网络安全数据的统计值表示为一个七元组
TupleStatistic（Time，TimeInterval，StatisticItem，StatisticScope，StatisticParam，StatisticValue，MeasureUnit），
七元组中的元素分别表示统计时间、统计间隔、统计项、统计口径、统计参
数、统计值和度量单位。设等间隔的离散时间点为t1，t2，…，ti，…，tn，ti + 1 > ti，对于具有相同统计间隔、统计项、统计口径和统计参数的统计值可以表示为时间序列函数 fj(ti)，i = 1，2…n， 多个等间隔时间序列函数可以表示为函数组 f1(ti)，f2(ti)，…，fj(ti)，…，fm(ti)，fj(ti) >=0 。

三，可视化设计

这里不打算贴出来……(๑•ω•๑)

结束语

初始的网络安全方面的数据可视化学习。主要是两篇论文为主，一方面是每次必有的综述，另一方面是这个协同可视化。这次的学习主要的明确了网络安全数据可视化分析的数据，数据分类，研究方向。数据可视化分析开头就是数据的筛选和方向的确立，正如之前所言，数据可视化没有可视化不了，只有可视化方法不对。

1、赵颖，樊晓平，周芳芳，等. 网络安全数据可视化综述[J]. 计算机辅助设计与图形学学报. 2014, 26(5): 687-697.
2、赵颖，樊晓平，周芳芳，等. 大规模网络安全数据协同可视分析方法研究[J]. 计算机科学与探索. 2014, 8(7): 848-857.
3、陈为. 数据可视化[Z]. 电子工业出版社, 2013.