pytorch学习--softmax回归

softmax回归

softmax回归本质是分类问题。
回归:估计一个连续值
分类:预测一个离散类别
pytorch学习--softmax回归_第1张图片

softmax函数能够将为规划的预测变换为非负数并且总和为1,同时让模型保持可导的性质。如:
在这里插入图片描述

回归到多类分类

均方损失

  • 对类别进行一位有效编码
    pytorch学习--softmax回归_第2张图片
  • 使用均方损失训练
  • 最大值作为预测
    在这里插入图片描述
  • 更置信的识别正确类
    在这里插入图片描述

校验

  • 输出匹配概率(使输出非负,和为1)
    pytorch学习--softmax回归_第3张图片
  • 概率y和y_bar 的区别作为损失

交叉熵(cross entropy)

衡量两个概率的区别 在这里插入图片描述
将其作为损失
在这里插入图片描述
其梯度是真实概率和预测概率的区别
在这里插入图片描述

你可能感兴趣的:(pytorch,学习,回归)