深度学习——Softmax回归+损失函数(笔记)

一。Softmax回归

1.Softmax回归,名字是回归,其实是一个分类问题。

2.回归和分类的区别是什么?

①回归估计的是一个连续值:比如预测二手房卖出的价格

Ⅰ回归是在自然区间R单连续值的输出

Ⅱ跟真实值的区别作为损失

深度学习——Softmax回归+损失函数(笔记)_第1张图片

②分类是预测一个离散类别。比如:图片是猫还是狗

Ⅰ分类有多个输出o1,o2,o3。等于类别的个数

Ⅱ 输入的i是预测第i类的置信度

深度学习——Softmax回归+损失函数(笔记)_第2张图片

 3.介绍两个数据集

①MNIST:手写数字识别(10类)

深度学习——Softmax回归+损失函数(笔记)_第3张图片

 ②ImageNet:自然物体分类(1000类)

深度学习——Softmax回归+损失函数(笔记)_第4张图片

 4.从回归到多类分类——均分损失【无校验比例】

①对类别进行一位有效编码:独热编码。

深度学习——Softmax回归+损失函数(笔记)_第5张图片

 独热编码是一个向量,它的分量和类别一样多。 类别对应的分量设置为1,其他所有分量设置为0。 “猫”(1,0,0)、对应于“鸡”(0,1,0)、对应于“狗”(0,0,1)。

②使用均分损失训练

③找出o1,o2,o3数值最大的一个为预测值

深度学习——Softmax回归+损失函数(笔记)_第6张图片

 

 ④需要更置信的识别正确类(大余量):真正的类和其他的类拉开距离。

 

 5.从回归到多类分类—校验比例

把softmax(o)展开,第i类的概率。

深度学习——Softmax回归+损失函数(笔记)_第7张图片

 

分子:e为底oi的指数,非负数

分母:e为底oi的指数 从第一个加到最后一个的和。

这样第的值从第1类相加最后一类,分子等于分母和为1.

 ②概率y和区别作为损失

6.交叉熵:作为概率的损失函数

 ①交叉熵衡量两个概率的区别

 ②损失函数:

 

损失函数的个人理解:输入一张照片y=(猫,狗,兔),真实值y=(0,1,0)

预测值=(0.05,0.8,0.15).

然后展开求和。最后只剩下-log(0.8),这就是损失值。所以,只跟正确哪一类的对应输出有关。(只关心正确类。)

③损失函数的梯度:

 

 

总结:用softmax将结果概率化,用交叉熵做损失函数。

深度学习——Softmax回归+损失函数(笔记)_第8张图片

二。损失函数:衡量真实值和预测值的区别

1.L2Loss均方损失函数

深度学习——Softmax回归+损失函数(笔记)_第9张图片

 2.L1Loss  绝对值损失函数:

L1=

 ①优点:即使当预测值跟真实值相差大,但是梯度一直是常数,权重更新的时候不会相差太大,比较稳定。

②缺点:但0点数不可导,不平滑。真实值跟预测值想接近的是时候,变得不稳定

深度学习——Softmax回归+损失函数(笔记)_第10张图片

3.Robust Loss(结合上两个的优点)

深度学习——Softmax回归+损失函数(笔记)_第11张图片

 

 

好处:真实值和预测值远的时候,梯度是常数,权重更新变得均匀。

真实值和预测值接近的时候,梯度慢慢变小,没有大幅度更新。

 

你可能感兴趣的:(深度学习,回归)