每日一问07——什么是Softmax回归?和线性回归的区别是什么?

每日一问07

Question:什么是Softmax回归?和线性回归的区别是什么?


文章目录

  • 每日一问07
    • Question:什么是Softmax回归?和线性回归的区别是什么?
  • 回归 vs 分类
  • 从回归到多分类
    • 回归
    • 分类
    • 均方损失
    • 校验比例
    • Softmax和交叉熵损失
  • 总结


回归 vs 分类

  • 回归估计一个连续值
  • 分类预测一个离散类别

从回归到多分类

回归

  • 单连续值输出

  • 自然区间R

  • 和真实值的区别作为损失

每日一问07——什么是Softmax回归?和线性回归的区别是什么?_第1张图片

分类

  • 通常多个输出
  • 输出i时预测为第i类的置信度,并将值最大的输出所对应的类作为预测输出

每日一问07——什么是Softmax回归?和线性回归的区别是什么?_第2张图片

均方损失

  • 对类别进行一位有效编码(非0即1)
    每日一问07——什么是Softmax回归?和线性回归的区别是什么?_第3张图片
  • 使用均方损失训练
  • 最大值作为预测
    在这里插入图片描述
  • 需要更置信的识别正确类(预测值Oy和真实值Oi要足够小)

在这里插入图片描述

校验比例

  • 输出匹配概率(非负,和为1)

每日一问07——什么是Softmax回归?和线性回归的区别是什么?_第4张图片

  • 概率y 和y_hat的区别作为损失

Softmax和交叉熵损失

  • 交叉熵常用来衡量两个概率的区别

在这里插入图片描述

  • 将交叉熵作为损失:

在这里插入图片描述

  • 其梯度是真实概率和预测概率的区别

在这里插入图片描述


总结

  • Softmax回归是一个多分类模型
  • 使用Softmax操作子得到每个累的预测置信度
  • 使用交叉熵来衡量和标号的区别

你可能感兴趣的:(每日一问,回归,线性回归,机器学习)