动手学深度学习-李沐（5）

一、Softmax回归

1、回归和分类问题

回归是估计一个连续值

分类是预测一个离散类别（分类从回归的单输出变成了多输出，输出的个数就是类别的个数）

2、ont-hot编码格式

      使用均方损失训练

      使用最大值标号 作为预测

 

3、softmax的作用：

        输出是一个概率（非负和为1）

        概率y和y^的区别作出损失

 4、用交叉熵常用来衡量两个概率的区别

        假设p,q是一对离散概率，假设有n个元素，对每个元素i进行操作

        将交叉熵作为损失时候

        y是ont-hot编码格式，其余为0，只有真实预测的为1，则最后结果为对真实预测的结果求log并求反。

 

 5、softmax回归总结

softmax回归是一个多类分类模型

使用softmax操作子得到每个类的预测置信度

使用交叉熵来衡量预测和标号的区别

二、损失函数

1、L2 Loss（均方损失）

 2、L1 Loss（绝对值损失函数）

        缺点：在零点处有一个-1到+1的震荡，在模型训练的末期变化不是很稳定

 3、Huber's Robust Loss

        预测值和真实值大于1时候，用绝对值损失函数，反之用均方损失函数