小白的网络安全可视化笔记（二）

小白的网络安全可视化笔记

再次续写小白的网络安全可视化笔记。前边专门插入了一段关于信息熵的笔记，作为学习参考，信息熵是一个对于网络安全可视化的重要手段，可以参照大量的论文都会提及信息熵对于网络安全的贡献。

关于数据清洗

这张博客主要记录数据清洗部分的学习情况。众所周知，数据可视化的第一步就是数据清洗，以VAST2013挑战赛的数据为案例，10GB大的数据分析是不可能分析的，正如打工是不可能打工的，只能随便看看还看不懂来维持生活了。9000万行的数据如果不是统一格式根本无法分析。

整理方案：

方案一：
（网络安全事件） 本文网络安全事件表示为一个七元组
TupleEvent（Time，EventType，Priority，SourceIP，DestinationIP，SourcePort，DestinationPort），
七元组中的元素分别表示时间、事件类型、严重程度、源IP（Internet protocol）、目的IP、源端口与目的端口
方案二：
（网络安全时间序列函数） 本文网络安全数据的统计值表示为一个七元组
TupleStatistic（Time，TimeInterval，StatisticItem，StatisticScope，StatisticParam，StatisticValue，MeasureUnit），
七元组中的元素分别表示统计时间、统计间隔、统计项、统计口径、统计参
数、统计值和度量单位。设等间隔的离散时间点为t₁，t₂，…，t_i，…，t_n，t~i + 1~ > t_i，对于具有相同统计间隔、统计项、统计口径和统计参数的统计值可以表示为时间序列函数 f_j(t_i)，i = 1，2…n， 多个等间隔时间序列函数可以表示为函数组 f₁(t_i)，f₂(t_i)，…，f_j(t_i)，…，f_m(t_i)，f_j(t_i) >=0 。

简单讲就是通过一个七元组将数据整理起来，网络安全数据的统计分析是最常用的分析方法，统计值也可以抽象为统一格式，适合于特征级融合。统计项常见的有：计数型的总连接数、总流数等；流量型的总包数、总字节数等；区分型的不同的
源端口数、不同的目的端口数、不同的源IP数、不同的目的IP数等；度型的IP入度数与出度数等；平均型的平均字节大小、平均包数等；熵值型的源IP熵、目的IP熵等。统计口径常见的有：全网、子网、单个主机、单个端口、单个协议、单种操作等。统计参数和具体的统计项与统计口径对应，比如当统计某个主机在某段事件的总流量，那么参数就是主机IP地址。通过对多种异构的网络安全数据进行特征级融
合，实现了从大数据向小数据的转换，也建立了多源数据协同分析的基础。网络安全事件和网络安全时序数据两种统一格式的特征级数据将作为网络安全可视分析工具的输入数据源，这样可以更好地发挥可视分析技术的作用，帮助用户全面高效地掌握网络安全状态。

网络安全态势评估法

网络安全态势评估方法及定义

定义1．设网络共部署有N种不同的安全传感器．安全传感器代表任何一种用以监控和收集网络安全信息的程序或设备，包括网络嗅探、入侵检测系统、日志系统、病毒检测和蜜罐等．
定义2．网络的状态空间为S={e}={G，A，c}，其中G代表安全状态，A代表被攻击状态，C代表不安全状态
定义3．网络中所有安全传感器报警信息样本空间n={V₁，V₂，…，V_n}．其中，V是n的子空间，代表某个安全传感器的报警信息样本集合．
定义4．f是网络所有安全传感器报警样本空间n到网络状态空间s的一个映射，记为，f：n—s，且，f(V_i)=e．
定义5．某个安全传感器的输出报警信息样本空间为V={v₁，v₂，…，v_M}，V∈n．

基于HMM的安全传感器报警处理方法

定义6．网络中某个安全传感器在时段T内的不同时刻 t₁，t₂，…，t_n 感知到的网络状态，是网络状态空间s上的一阶马尔科夫过程p(e，t)．
定义7．用隐马尔科夫模型A=(s，y，A，B，π)对网络的一个安全传感器所采集到的报警信息进行处理．其中，

1. s是定义2给出的网络状态空间．
2. y是定义5给出的报警信息样本空间．
3. A是传感器感知的网络安全状态转移矩阵，网络在t时刻所处的状态为q_t，q_t∈S
   A=[a_ij]
   a_ij=P(q_t+1=jIq_t=i)，i,j∈S
4. B是传感器输出报警信息的概率分布
   B_k={b_j(k)}
   b_j(k)=P(v_kIj)，1≤k≤M,j∈S
   b_j(k)表示在状态j时传感器输出的报警信息为v_k的概率．
5. π是网络初始状态概率分布
   π={π_i}，i∈S
   π_i=P(q₁=i)表示网络初始时刻处于某一状态的概率．
   定义8．网络安全传感器在评估时段T内，输出的报警信
   息观察序列为O.
   O=(o_t1，o_t2，o_t3，…，0_tn)
   其中o_ti∈V，T={t₁，t₂，…，t_n}．

引用

潘 恒，李景峰，郑秋生，基于HMM和信息熵的网络安全态势评估方法
赵 颖，樊晓平，周芳芳，等.大规模网络安全数据协同可视分析方法研究[J].计算机科学与探索，2014，8（7）：848-857.