深度学习中的概率与信息论

主要摘录一些深度学习过程中所需的概率与信息论知识

不确定性的三种来源：

1、被建模系统内在的随机性

2、不完全观测

3、不完全建模

随机变量（random variable）、概率分布（probability distribution）

概率质量函数（probability mass function）、联合概率分布（joint probability distribution）

概率密度函数（probability density function）、边缘概率分布（marginal probability distribution）

条件概率、条件独立（conditional independent）、期望（expectation）、方差（variance）、协方差（covariance）、相关系数（correlation）、协方差矩阵（covariance matrix）

sigmoid、softplus

贝叶斯规则（Bayes` rule）

信息论：对一个信号包含信息的多少进行量化

基本想法：一个不可能的事件发生了要比一个非常可能的事件发生提供更多的信息

三个性质：

1、非常可能发生的事件信息量要比较少

2、较不可能发生的事件具有更高的信息量

3、独立事件应具有增量的信息量

自信息（self-information）、香浓熵（Shannon entropy）、微分熵（differential entropy）

KL散度（Kullback-Leibler divergence）

结构化模型（structured probabilistic model）、图模型（graphical model）