深度学习之Softmax回归

Softmax虽然是回归但本质是一个多分类

回归 vs. 分类

        回归(估计一个连续值)

  • 单连续数值输出
  • 自然区间R
  • 跟真实的区别作为损失

        分类(预测一个离散类别)

  • 通常多个输出
  • 输出i是预测为第i类的置信度

从回归到多分类

        均方损失

  • 对类别进行一位有效编码(one-hot编码)

        例如:类别有0,1,2;编码则是0 == 100,1 == 010, 2 == 001

        深度学习之Softmax回归_第1张图片

  •  使用均方损失训练
  • 最大值作为预测(类别中置信度最高的)

  • 需要更置信的识别正确类(大余量)

\small O_{y} \gg O_{i}正确类别的置信度要远远大于其它类别的置信度

  •  输出匹配概率(非负,和为1)
  • 概率y和\small \hat{y}的区别作为损失

     

    • 衡量区别

深度学习之Softmax回归_第2张图片

损失函数

        均方损失

深度学习之Softmax回归_第3张图片

        绝对值损失函数

深度学习之Softmax回归_第4张图片

Huber's Robust loss

 深度学习之Softmax回归_第5张图片

 

 

 

 

你可能感兴趣的:(回归,深度学习)