softmax回归中最大化似然和最小化交叉熵的等价性

$softmax$回归是一个多分类模型$f(X)=softmax(X_{n\times d}{W}_{d\times k}+b_{1\times k})$，它的输出是每个类别的概率，样本集的标签以独热编码$one-hotencoding$给出，这个模型认为给定输出特征$x_{1\times d}$，类别是$j$的概率是$softmax(xW+b)$的第$j$项，即$P(y_j|x)=softmax(xW+b{)}_j={\hat{y}}_j$，其中$y_j$是标签的独热编码向量，它的第$j$项不为$0$，其他项都是$0$。下面说明的是对这种分类任务而言，最大化对数似然函数等价于最小化交叉熵损失

尽管$softmax$是一个非线性函数$softmax(o_i)=\frac{exp(o_i)}{{\sum }_{k}exp(o_k)}$，但它不改变输出$o$的相对大小，分类结果$argma{x}_j\widehat{y_j}=argma{x}_j\widehat{o_j}$不会改变，因此$softmax$回归的输出仍然由输出特征的仿射变换决定，因此$softmax$回归是一个线性分类模型

假设模型给出的分类概率向量是${\hat{y}}^{(i)}$，似然函数是$P(Y|X)={\prod }_{i=1}^{n}P(y_j^{(i)}|x^{(i)})$，其中$x^{(i)}$是第$i$个样本向量，其中$y_j^{(i)}$是第$i$个标签的独热编码且第$j$项不为$0$，其他项都是$0$，而最大化似然函数相当于最小化负对数似然函数$-logP(Y|X)={\sum }_{i=1}^n-logP(y_j^{(i)}|x^{(i)})={\sum }_{i=1}^n-log{\hat{y}}_j={\sum }_{i=1}^{n}H(y,\hat{y})$，其中真实标签向量和预测标签向量的交叉熵$H(y,\hat{y})=-{\sum }_{j=1}^k{y}_{j}log{\hat{y}}_j$，由于独热编码中只有一项是$1$，因此$H(y,\hat{y})=-log{\hat{y}}_j$，其中${\hat{y}}_j$是真实标签$y$中不为零的那一项对应的预测概率。因此得到$maxP(Y|X)⟺\min {\sum }_{i=1}^{n}H(y,\hat{y})$
下面是损失函数$-{\sum }_{j=1}^k{y}_{j}log{\hat{y}}_j$代入模型的过程
$$\begin{gathered} l(y,\hat{y})=-\sum _{j=1}^k{y}_{j}log\frac{exp(o_j)}{{\sum }_{i=1}^{k}exp(o_k)} \\ =\sum _{j=1}^k{y}_{j}log\sum _{i=1}^{k}exp(o_k)-\sum _{i=1}^k{o}_j{y}_j \\ =log\sum _{i=1}^{k}exp(o_k)-\sum _{i=1}^k{o}_j{y}_j \end{gathered}$$
最后一个等式也是利用了$y$中只有一项是$1$，下面求偏导数
$${\partial }_{o_j}l(y,\hat{y})=\frac{exp(o_j)}{{\sum }_{k}exp(o_k)}-y_j=softmax(o{)}_j-y_j$$
因此偏导就是输出中的每一个分量与真实杜热标签直接的差异，这很类似回归问题中的绝对损失函数，其中梯度是观测值$y$和估计值$\hat{y}$之间的差异。这不是巧合，在任何指数族分布模型中，对数似然的梯度正是由此得出的，这使得梯度的计算在实践中变得容易很多
这里是$logistic$回归模型，这里是$softmax$和$logistic$回归的区别和联系