深度学习你必须知道的几个信息理论概念
信息论是一个重要的领域，它对深度学习和人工智能作出了重大贡献，但很多人对它却并不了解。信息论可以看作是微积分、概率论和统计学这些深度学习基本组成部分的复杂融合。人工智能中的很多概念来自信息论或相关领域：
-
常用的交叉熵损失函数
-
根据最大信息增益构建决策树
-
广泛应用于NLP和语音领域的维特比算法
-
广泛用于机器翻译RNN和各种其他类型模型的编码器-解码器概念
熵
也可以称为信息熵或香农熵。
熵是实验中随机性或不确定性的度量
熵给出了实验中不确定性的度量。让我们考虑两个实验：
-
抛出一枚无偏硬币（P(H)= 0.5）并观察它的输出，假设H
-
抛出一枚有偏硬币（P(H)= 0.99）并观察其输出，假设H
如果我们比较两个实验，与实验1相比，实验2更容易预测结果。因此，我们可以说实验1本质上比实验2更不确定或不可预测。实验中的这种不确定性是使用熵度量的。
因此，如果实验中存在更多固有的不确定性，那么它的熵更大。或者说实验越不可预测熵越大。实验的概率分布用于计算熵。
一个完全可预测的确定性实验，即投掷P（H）= 1的硬币的熵为零。一个完全随机的实验，比如滚动无偏骰子，是最不可预测的，具有最大的不确定性，在这些实验中熵最大。
抛掷一枚无偏硬币的实验比抛掷有偏硬币具有更多的熵
另一种观察熵的方法是我们观察随机实验结果时获得的平均信息。将实验结果获得的信息定义为该结果发生概率的函数。结果越罕见，从观察中获得的信息就越多。
例如，在确定性实验中，我们总是知道结果，因此通过观察结果没有获得新信息，因此熵为零。
数学定义
对于离散随机变量X，可能的结果（状态）x_1，...，x_n，熵（以位为单位）定义为：
其中p(x_i)是X的第i个结果的概率。
应用
-
熵用于自动决策树构造。在树构建的每个步骤中，使用熵标准来完成特征选择。
-
基于最大熵原理选择模型，从对比的模型中选出熵最大的模型为最佳模型。
交叉熵
交叉熵用于比较两个概率分布。它告诉我们两个分布有多相似。
数学定义
在相同的结果集上定义的两个概率分布p和q之间的交叉熵由下式给出：
应用
基于卷积神经网络的分类器通常使用softmax层作为最后一层，并使用交叉熵损失函数进行训练
-
交叉熵损失函数广泛用于逻辑回归等分类模型，随着预测偏离真实输出，交叉熵损失函数会增大。
-
在诸如卷积神经网络的深度学习架构中，最终输出的softmax层经常使用交叉熵作为损失函数。
交互信息
交互信息是两种概率分布或随机变量之间相互依赖性的度量。它告诉我们另一个变量有多少关于该变量的信息。
交互信息获取随机变量之间的依赖性，比一般的相关系数更具广义性，后者只表现线性关系。
数学定义
两个离散随机变量X和Y的交互信息定义为：
其中p(x,y)是X和Y的联合概率分布，p(x)和p(y)分别是X和Y的边缘概率分布。
应用
在贝叶斯网络中，可以使用交互信息来确定变量之间的关系结构
-
特征选择：使用交互信息，而不是使用相关性。相关性仅表现线性依赖性而忽略非线性依赖性，但交互信息不会。零的交互独立性保证随机变量是独立的，但零相关不是。
-
在贝叶斯网络中，交互信息用于学习随机变量之间的关系结构，并定义这些关系的强度。
Kullback Leibler（KL）散度
也称为相对熵。
KL散度用于比较两个概率分布
KL散度是另一种表示两个概率分布之间相似性的方法。它衡量一个分布与另一个分布的差异。
假设我们有一些数据，它的真实分布是P。但是我们不知道P，所以我们选择一个新的分布Q来近似这个数据。由于Q只是一个近似值，它无法像P那样准确地逼近数据，会造成一些信息的丢失。这个信息损失由KL散度给出。
P和Q之间的KL散度告诉我们，当我们试图用P和Q来近似数据时，我们损失了多少信息。
数学定义
一个概率分布Q与另一个概率分布P的KL散度定义为：
应用
KL散度通常用于无监督机器学习技术中的变分自编码器。
信息论最初是由数学家和电气工程师克劳德·香农，在1948年的开创性论文“通信的数学理论”中提出的。
注意：随机变量和AI，机器学习，深度学习，数据科学等专业术语已被广泛使用，但在不同的领域中会有不同的物理含义。
今日资源推荐：
咕泡学院《仿生学神经网络人工智能高薪九二也实战课》课程
以深度神经网络为代表的“深度学习”系统正开始逐渐地接手人工智能的各种任务，从YOLO多物体追踪、图像识别、图像分割、图像补全、语音唤醒、聊天机器人等。因此，在许多先进的学术环境中，深度学习的专业知识正迅速从深奥的需要转变为强制性的先决条件，并在工业就业市场上具有很大优势。
在本课程中，我们将学习深层神经网络的基础知识，以及它们在各种人工智能任务中的应用。在课程结束时，学生应该对该学科有一定的了解，并能够将深度学习应用到各种任务中。