交叉熵损失函数

目录

摘要

  交叉熵可以很好的表示样本所在总体的预测分布与当前分布之间的差异性，因此众多行业所涉及的深度学习模型，在模型训练时都采用交叉熵来做其损失函数。
  本博客会对交叉熵做详细的介绍。首先在定义的角度来介绍交叉熵的来龙去脉，然后详细推理交叉熵；本博客是在拜读了大量大佬的介绍之后，结合自己的理解写的，在此对大佬们表示感谢；本人是纯理科生，推理过程、叙述方式都很直接，有何不妥，请大家不吝赐教！

在定义的角度说交叉熵的脉络

  交叉熵作为深度学习里面一种重要的损失计算方式，可以很好的表示样本所在总体的预测分布与当前分布之间的差异性。交叉熵来自于KL散度，KL散度又称相对熵，表示两个相互独立的概率分布之间的差异性。KL散度是基于信息熵来计算的，信息熵表示某事对某人而言会出现某种结果的不确定性。信息熵是信息量的数学期望，信息量度量的是一个具体事件发生了所带来的信息，而信息熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。信息量通俗的讲，是指信息所消除的人们对认识上的不确定性的大小”。既然根源是信息，那信息的定义是什么？信息，即在一种情况下能减少不确定性的任何事物。

详细推理交叉熵

  熵是指混乱度，所以熵越小越好。
  要让熵越来越小，就要知道为啥会混乱，是因为事物的不确定性太多了，所以我们要消除不确定性。
  那我们怎么消除不确定性呢，我们可以通过信息输入来消除不确定性。
  为啥信息能消除不确定性呢，是因为信息带着信息量，信息自带的属性就是信息量。
  那啥是信息量，通俗的讲，信息量是指信息所消除的人们对某事物在认识上的不确定性的大小。
  一条信息提供的信息量减少一部分不确定性，两条减少两部分，如果我们获得了全部信息，就能消除所有不确定性了，如果在股票预测上这么牛，那巴菲特就要主动请你吃午饭了。
  既然信息能消除不确定性，那能不能量化一下信息与不确定性之间的关系呢？能，先来个例子：
  我们掷硬币，掷一次硬币有两种结果—正和反，掷两次硬币有四种结果—正反，反正，正正，反反，掷三次硬币有八种结果，嗯，掷n次硬币的结果数对应的是2的n次方。简单总结一下，假设$x_i$表示掷i次硬币，$x_i$也叫信息量，$a$表示掷一次硬币可能出现的结果数，$y_i$表示掷$x_i$次硬币对应的结果数，那么，$$y_i=a^{x_i}\text{\hspace{1em}(1)}$$
  即信息量$x_i$消除的不确定性的大小为$y_i$。
  我们再考虑一个事实，针对于信息量$x_i$等于3（掷三次硬币），可能的结果数$y_i$为8，每一种结果发生的概率$p(x_i)$是$\frac{1}{8}$，我们可以得到,
$$y_i=\frac{1}{p(x_i)}\text{\hspace{1em}(2)}$$
  信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。说白了，信息熵H就是信息量的数学期望，即公式$(3)$，
$$H(X)=\sum _{0\le i\le n}p(x_i)\cdot x_i\text{\hspace{1em}(3)}$$
  综合公式$(1)$、公式$(2)$和公式$(3)$我们可以得到，
$$H(X)=\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\frac{1}{p(x_i)}\text{\hspace{1em}(4)}$$
  进一步，我们可以看出$y_i$属于掷$x_i$次硬币这个事件所服从的分布，$p(x_i)$表示的是“掷$x_i$次硬币”这个事件中每一种结果发生的概率，也就是说掷硬币这个事件的信息熵是$y_i$取对数后乘以其对应的概率然后求和得到的，ok，我们假设$y_i$服从的分布为$P$，那$p(x_i)$不用说肯定也是基于分布$P$；那在我们进行模型训练的时候，希望预测得到的结果$\widehat{y_i}$也服从$P$，但是实际上预测得到的结果$\widehat{y_i}$服从的分布是$Q$, $\widehat{y_i}$对应的事件的每种结果发生概率是$q(x_i)$，那度量预测值和真实值之间的差异，本质上就是度量分布$Q$和$P$的差异。
  预测值的分布只能通过预测结果来表示，即$Q$是未知的，但是有一点我们清楚，我们的目的是让$Q$无限接近$P$，那我们不妨假设$\widehat{y_i}$服从样本的真实分布$P$，对应的信息熵为，
$$\hat{H}(X)=\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\frac{1}{q(x_i)}\text{\hspace{1em}(5)}$$

PS: 为了帮助理解，在此简单推导一下公式$(5)$:
$$\hat{H}(X)=\sum _{0\le i\le n}q(x_i)\cdot {\log }_a\widehat{y_i}=\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\widehat{y_i}=\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\frac{1}{q(x_i)}\text{\hspace{1em}(5的推导)}$$
  此时很明朗了，要求P与Q的差异，我们直接求它俩对应的信息熵的差值就可以了，如下：
$$H(X)-\hat{H}(X)=\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\frac{1}{p(x_i)}-\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\frac{1}{q(x_i)}=-\sum _{0\le i\le n}p(x_i)\cdot {\log }_a\frac{p(x_i)}{q(x_i)}\text{\hspace{1em}(6)}$$
  朋友们，《信息论》中有一个概念，KL散度，KL散度就是表示两个独立分布之间的差异性，一起看一下（注意，公式$(7)$中的变量符号与本博客中符号的含义不同，在此主要是让大家看KL散度的形式，如果你非要较真符号的含义，那你就认为$(7)$中的$i$与本博客中的$x_i$一样），
$$D(P||Q)=\sum _{i\in X}P(i)\cdot \log \frac{P(i)}{Q(i)}\text{\hspace{1em}(7)}$$
  $(6)$和$(7)$像不像？像，但是差点啥，对，差的是式中对数的底数不同，再就是正负号不同，$(6)$中的底数是$a$，$(7)$中的底数是2，虽然没写但是的确是2，不信你去翻课本。那么相差一个底数到底差距多大呢，这么说吧，不大，就一个常数倍，一起算算，
$$\forall x,\frac{lo{g}_{a}x}{lo{g}_{2}x}=lo{g}_{a}2\text{\hspace{1em}(8)}$$
so,常数倍，别care。
  下面，我们把KL散度的公式展开一下，
$$D(P||Q)=\sum _{i\in X}P(i)\cdot \log \frac{P(i)}{Q(i)}=\sum _{i\in X}P(i)\cdot \log P(i)-\sum _{i\in X}P(i)\cdot \log Q(i)=-H(X)-\sum _{i\in X}P(i)\cdot \log Q(i)$$
  我们希望KL散度越小越好，即$$-\sum _{i\in X}P(i)\cdot \log Q(i)$$越小越好，这就是交叉熵的函数了。
  补充一下，深度学习中用到的交叉熵中对数的底数是$e$，不过这都无所谓了，因为，常数倍。

结语

读懂这篇博客，你对交叉熵的理解已经很深了！不难，但是需要点数学基础和概率基础，欢迎大家交流~