关于信息熵的小白学习随笔

关于信息熵的小白学习随笔

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的系。（摘录自百度百科）
熵的话对于学习了化学的高中生会比较好理解一些，如同上边摘录的内容熵就是表示分子混乱程度的物理量，于是信息熵也很好理解了。信息熵就是关于信息的概率于冗余度的表示量。

联合信息熵

针对目前我的项目的网络安全方面的论文：基于HMM和信息熵的网络安全态势评估方法¹中提及的网络态势评估的另一重要问题是评估计算，针对现有网络安全态势评估方法的不足，提出了一种基于隐马尔可夫模型和联合信息熵的网络安全态势评估方法．试图利用HMM解决多源异构数据的统一格式等问题；并引入联合信息熵，利用熵的特点来更加清晰地描述网络安全状态趋势。
首先解释联合信息熵吧。

联合信息熵定义

定义：联合熵是一集变量之间不确定性的衡量手段。

直接截图来自百度知道。
贴上链接：各种熵的解释
还有包括什么联合直方图这些这里不再赘述。当然原因是，赘述篇幅太长了。

HMM模型定义

其次这里标注出HMM模型的定义：
隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。
是在被建模的系统被认为是一个马尔可夫过程与未观测到的（隐藏的）的状态的统计马尔可夫模型
模型表达：
隐马尔可夫模型（HMM）可以用五个元素来描述，包括2个状态集合和3个概率矩阵：

1. 隐含状态 S
   这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。（例如S1、S2、S3等等)
2. 可观测状态 O
   在模型中与隐含状态相关联，可通过直接观测而得到。(例如O1、O2、O3等等，可观测状态的数目不一定要和隐含状态的数目一致。）
3. 初始状态概率矩阵 π
   表示隐含状态在初始时刻t=1的概率矩阵，(例如t=1时，P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 π=[ p1 p2 p3 ].
4. 隐含状态转移概率矩阵 A。
   描述了HMM模型中各个状态之间的转移概率。
   其中Aij = P( Sj | Si ),1≤i,j≤N.
   表示在 t 时刻、状态为 Si 的条件下，在 t+1 时刻状态是 Sj 的概率。
5. 观测状态转移概率矩阵 B （英文名为Confusion Matrix，直译为混淆矩阵不太易于从字面理解）。
   令N代表隐含状态数目，M代表可观测状态数目，则：
   Bij = P( Oi | Sj ), 1≤i≤M,1≤j≤N.
   表示在 t 时刻、隐含状态是 Sj 条件下，观察状态为 Oi 的概率。
   总结：一般的，可以用λ=(A,B,π)三元组来简洁的表示一个隐马尔可夫模型。隐马尔可夫模型实际上是标准马尔可夫模型的扩展，添加了可观测状态集合和这些状态与隐含状态之间的概率关系。

联合信息熵的应用目标

目前网络安全可视化的重点问题出自于数据量庞大，格式无法统一，结构混乱，来源多样化。简单来讲就是乱七八糟是个人都看不懂。所以衔接之前博客的内容，所谓可视化第一步是数据清洗，庞大的数据量，以2013年VAST的挑战赛为例一共10GB上下的数据，差不多9000万行总数据，首先需要对数据进行清洗和整理。
信息熵是一个很有用的东西来分辨信息的混乱性，和重要性的工具。至于怎么用？这里不会详细讲的。

引用

---

1. 基于HMM和信息熵的网络安全态势评估方法 ↩︎