和李沐大神一起动手学深度学习笔记2——Softmax 回归

Softmax 回归

1. Softmax回归是一个多类分类模型，使用Softmax操作子可以得到每个类的预测置信度(概率)，使用交叉熵来衡量预测和标号的区别。

2. 分类vs回归

   image.png

3. 从回归到多类分类---均方损失,如下所示。

   image-20210827093003754.png

     举例说明一位有效编码，大意为只有其中一个位的值为1，比如我有猫、狗和猪三类，标号则是长度为3的向量，那么可以分别表示为001， 010, 100。

   均方损失：

   : 最大元素所对应的索引赋值给,

   4. 从回归到多类回归

      
      
      image-20210827101222523.png

     如果X是一个矩阵，那么softmax的定义式如下所示。

4. Softmax和交叉熵损失

image.png

image.png

  注意对第二个公式的理解， 其中对于 的理解，因为 里面只有一个元素为1，其余为0，因此即可简写为后面的这个公式。即对于真实类别的预测值求log。