3.线性分类器损失函数及最优化

1. 损失函数（loss function）

损失函数的作用是优化权重

图片.png

• 给定三个图片
• x代表图片，y代表标签
• 计算损失函数

svm loss

图片.png

图片.png

• 给定三个图片
• x代表图片，y代表标签
• 计算s，syi是指正确分类的得分
• 计算损失

例子：

猫的loss

汽车的loss

青蛙的loss

整个训练的

正则化

我们训练模型的目的是，能够正确的找到测试集中的图片都标签，而不是训练集。

正则化

正则化

• 正则化的目的：简化模型（分类器），不是拟合训练集

softmax loss

• 使概率趋近于1

softmax

• 例子：

  
  
  图片.png

对比

图片.png

总结回顾

图片.png

2. 优化

找到最好的w

• 最傻的方法：随机测试不同的w，找到最好的
• 梯度下降

梯度下降算法

图片.png

数值计算-有限差分估计

• 慢
• 不准确
• 不容易出错

解析计算

• 快
• 准确
• 容易出错

一般采用解析计算，使用数值计算来检验

图像特征

• 不使用原始的图片信息，

步长（学习率）