使用cross-entropy （交叉熵）定义loss的概率意义

证明：在多分类问题中，交叉熵损失（cross-entropy loss）定义loss是符合概率的。
证明：
极大似然的表述如下：
softmax函数给出了一个向量$\hat{\mathbf{y}}$，它是一个概率分布，满足 ${\sum }_1^q{\widehat{y_j}}^{(i)}=1$， 我们可以将其视为“对给定任意输入的每个类的条件概率”。 例如 $P(y=\text{猫}\mid \mathbf{x})$ 。 假设整个数据集 $\{\mathbf{X},\mathbf{Y}\}$ 具有 $n$ 个样本， 其中索引 $i$ 的样本由特征向量 ${\mathbf{x}}^{(i)}$ 和独热标签向量 ${\mathbf{y}}^{(i)}$ 组成。
上述样本出现的概率：
$$P(\mathbf{Y}\mid \mathbf{X})=\prod _{i=1}^{n}P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)}).$$

根据最大似然估计，我们最大化 $P(\mathbf{Y}\mid \mathbf{X})$，相当于最小化负对数似然：

$$-\log P(\mathbf{Y}\mid \mathbf{X})=\sum _{i=1}^n-\log P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})=\sum _{i=1}^{n}l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}),$$

其中，对于任何标签和模型预测$\mathbf{y}$，损失函数为 $\hat{\mathbf{y}}$：
$$l(\mathbf{y},\hat{\mathbf{y}})=-\sum _{j=1}^q{y}_j\log {\hat{y}}_j.$$

可以得到 $P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})$ 的定义
$$P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})=\exp (\sum _{j=1}^q{y}_j^{(i)}\cdot \log ({\widehat{y_j}}^{(i)}))$$
下面说明 $P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})$ 定义符合概率定义。
$1^{。}$ $P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})$ > $0$ 是显然的。
$2^{。}$ $y^{(i)}$ 是独热码，遍历所有 $y^{(i)}$ 的可能性如下：
$$\begin{array}{cccc}{y}_1^{(i)}& y_2^{(i)}& ...& y_n^{(i)}\\ 1& 0& ...& 0\\ 0& 1& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& 1\end{array}$$
在 $y^{(i)}$ 的 $q$ 个可能上对 $P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})$ 积分
$$\begin{array}{rl}\sum _{y^{(i)}}P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})& =\sum _j^q\exp (\log ({\widehat{y_j}}^{(i)}))\\ & =\sum _1^q{\widehat{y_j}}^{(i)}\\ & =1\end{array}$$