Softmax回归——事实上是一个分类问题

文章目录

  • 回归vs分类
  • 从回归到多分类
    • 均方损失
    • 无校验比例
    • 校验比例
  • Softmax和交叉熵损失
  • 总结

回归vs分类

回归:估计一个连续值
分类:预测一个类别
Softmax回归——事实上是一个分类问题_第1张图片

从回归到多分类

Softmax回归——事实上是一个分类问题_第2张图片
分类问题从回归的单输出变成了多输出,输出的个数等于类别的数量,对应值为预测为该类的概率

均方损失

Softmax回归——事实上是一个分类问题_第3张图片
使用one-hot编码,如果yi是第i类,则标记为1,其他所有元素都为0

对于分类问题而言,我们更关注的是对于预测的那个类是不是置信度非常大

无校验比例

Softmax回归——事实上是一个分类问题_第4张图片
使得预测正确类的置信度要远远大于其他类的置信度,大于一个阈值,能区分预测正确性

校验比例

对于无校验而言,Oy、Oi的大小没有区间限制,只是考虑相对的一个差值
校验比例,将Oy、Oi都进行缩放到一个区间
Softmax回归——事实上是一个分类问题_第5张图片

Softmax和交叉熵损失

Softmax回归——事实上是一个分类问题_第6张图片

总结

1.Softmax回归是一个多分类模型
2.使用Softmax操作子得到每一个类的预测置信度
3.使用交叉熵来衡量预测和标号的区别

你可能感兴趣的:(#,动手学深度学习,分类,机器学习,Softmax回归,多分类问题)