从极大似然估计推出多分类交叉熵损失函数

传统的数理统计

以往，我们有二项、几何等等比较简单的分布，假设随机变量服从这些分布，然后用MLE估计这些分布概率密度式当中的参数。

Neural Network

但是在现实当中数据的分布是未知且复杂的，我们无法去假设它们服从二项、几何等等这些简单的分布。

于是我们根据问题的性质，定制神经网络，其中有庞大的参数，这个神经网络就可以视为真实世界的概率分布。有了神经网络，问题变得和传统的数理统计一样了，我们需要估计神经网络（也就是概率分布）的参数,而且也是用MLE。

下面我将证明神经网络的交叉熵多分类损失就是由MLE导出来的（他们是一件事）：

n类分类的概率 $p_{jm}$表示第j个样本分为第m类的概率，在神经网络的语境当中， $p_{jm}$是神经网络的输出（想想多分类softmax输出分类概率），对每个样本j，神经网络会给出其被分到各个类的概率$[p_{j1},p_{j2},p_{j3}....p_{jn}{]}^T$：
$p_j(x=m)={\prod }_{i=1}^n{p}_{ji}^{I(m=i)}=p_{jm}$
其中$I(m=i)=\{\begin{array}{l}1,m=i\\ 0,m\ne i\end{array}$
之后可以采用极大似然估计(MLE)了，设有标签为（x1,…xs）的样本：

$$\begin{gathered} 极大似然估计函数L=\prod _{j=1}^s{p}_j(x=x_j),x_j\in \{1,....n\} \\ 对L取对数 \\ \ln (L)=\sum _{j=1}^s\ln (p_j(x=x_j)) \\ =\sum _{j=1}^s\ln (p_{j{x}_j}) \\ max(L)\to \min (-L) \\ 于是可以知道交叉熵损失 \\ entropylossis \\ loss=-\frac{1}{s}ln(L)=-\frac{1}{s}\sum _{j=1}^s\ln (p_{j{x}_j})=-\frac{1}{s}\sum _{j=1}^s\ln (p_{j{x}_j}) \\ =-\frac{1}{s}\sum _{j=1}^s\ln (p_{j{x}_j}) \\ =-\frac{1}{s}\sum _{j=1}^s\sum _{i=1}^{n}I(x_j=i)\ln (p_{ji}) \\ 与极大似然的估计本质上是相同的。 \end{gathered}$$
$$I(x_j=i):当样本j的标签是第i类，I为1，其余情况是0.$$