3.线性分类器损失函数及最优化

1. 损失函数(loss function)

损失函数的作用是优化权重

图片.png

  • 给定三个图片
  • x代表图片,y代表标签
  • 计算损失函数

svm loss

图片.png
图片.png
  • 给定三个图片
  • x代表图片,y代表标签
  • 计算s,syi是指正确分类的得分
  • 计算损失

例子:

猫的loss
汽车的loss
青蛙的loss
整个训练的

正则化

我们训练模型的目的是,能够正确的找到测试集中的图片都标签,而不是训练集。

正则化
正则化
  • 正则化的目的:简化模型(分类器),不是拟合训练集

softmax loss

  • 使概率趋近于1
softmax
  • 例子:


    图片.png

对比

图片.png

总结回顾

图片.png

2. 优化

找到最好的w

  • 最傻的方法:随机测试不同的w,找到最好的
  • 梯度下降

梯度下降算法

图片.png

数值计算-有限差分估计

  • 不准确
  • 不容易出错

解析计算

  • 准确
  • 容易出错

一般采用解析计算,使用数值计算来检验

图像特征

  • 不使用原始的图片信息,

步长(学习率)

你可能感兴趣的:(3.线性分类器损失函数及最优化)