应用信息论基础 第六章 最大熵原理及应用 笔记

6.1 基本概念

熵越大，无序性越大。

6.2 最大熵理论的由来

因为这是一个孤立系统。

6.3 最大熵原理

从倒数第三行到倒数第二行：

$$\begin{array}{rl}\text{倒数第三行}& =\sum _x{\lambda }_{0}p(x)+\sum _{x}p(x)\sum _i{\lambda }_i{f}_i(x)\\ & ={\lambda }_0+\sum _i{\lambda }_i\sum _{x}p(x)f_i(x)\\ & ={\lambda }_0+\sum _i{\lambda }_i{C}_i\text{不依赖于分布 }p(x)\\ & =\sum _x{\lambda }_0\hat{p}(x)+\sum _x\hat{p}(x)\sum _i{\lambda }_i{f}_i(x)\\ & =\text{倒数第二行}\end{array}$$

6.4 最小鉴别信息原理

距离要满足四个条件：非负性、仅在相等时为0、对称性、满足三角不等式

6.5 最大熵原理的应用