跟李沐学AI-动手学深度学习-softmax回归+损失函数+图片分类数据集

目录

softmax回归

回归VS分类

从回归到多类分类

从回归到多类分类-均方误差

  从回归到多类分类-无校验比例

 从回归到多类分类-校验比例

 softmax和交叉熵损失

 总结

损失函数

L2 Loss

L1 Loss

Huber's Robust Loss


softmax回归

虽然softmax的名字是回归,但是其实它是一个分类问题。

回归VS分类

  • 回归估计一个连续值
  • 分类预测一个离散类别

eg:

MNIST:手写数字识别(10类)

ImageNet:自然物体分类(1000类) 

Kaggle上的分类问题:将人类的蛋白质显微镜图片分成28类、将恶意软件分成9个类别、将恶意的Wikipedia评论分成7类。

从回归到多类分类

回归

  • 单连续数值输出
  • 自然区间R
  • 跟真实值的区别作为损失

分类

  • 通常多个输出
  • 输出i是预测为第i类的置信度

从回归到多类分类-均方误差

对类别进行一位有效编码

使用均方损失训练。

最大值最为预测

  从回归到多类分类-无校验比例

对类别进行一位有效编码

最大值最为预测

需要更置信的识别正确类(大余量)

 从回归到多类分类-校验比例

输出匹配概率(非负,和为1)

跟李沐学AI-动手学深度学习-softmax回归+损失函数+图片分类数据集_第1张图片

概率y和^y的区别作为损失。

 softmax和交叉熵损失

 交叉熵常用来衡量两个概率的区别

将它作为损失

其梯度是真实概率和预测概率的区别

 总结

  •  softmax回归是一个多类分类模型
  • 使用softmax操作子得到每个类的预测置信度
  • 使用交叉熵来衡量预测和标号的区别

损失函数

L2 Loss

L1 Loss

 

Huber's Robust Loss

跟李沐学AI-动手学深度学习-softmax回归+损失函数+图片分类数据集_第2张图片

你可能感兴趣的:(跟李沐学AI-动手学深度学习,深度学习,神经网络,机器学习)