线性分类器

结构图

图像类型：

• Binary:黑白图（0-black，1-white）
• Gray Scale:灰度图（把白色和黑色之间按对数关系分为若干等级，称为灰度级，灰度分为256阶，用灰度表示的图-灰度图）
• Color:彩色图（三通道RGB，像素值0-255）

什么是线性分类器

线性分类器是一种线性映射，将输入的图像特征映射为类别分数。

线性分类器的矩阵表示

线性分类器的权重向量

• 权重看作是一种模版
• 输入图像与评估模版匹配程度越高，分类器输出的分数就越高

线性分类器的决策边界

f(X， W) = Wx + b=0--------就是决策面，W控制线的方向，b控制线的位移。向远离决策线的方向得分越高。（上图公式）

损失函数

如何评价分类器的好坏，效果。引出损失函数— what？
定义：损失函数搭建了模型性能与模型参数之间的桥梁，指导模型参数优化。

• 损失函数是一个函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
• 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果。
  

多类支撑向量机损失

正则项损失

在一般损失函数后面加正则损失-λR(W)，即：
$$L(W)=\frac{1}{N}\sum _i(L_i(f(x_i,W),y_i)+\lambda R(W)$$

其中，正则损失：防止模型在训练集上学习的“太好”（过拟合）。
R(W)**是一个与权重与关，跟图像数据无关的函数。
λ-是一个超参数控制着正损失在总损失中所占的比重。
超参数是指在学习过程之前设置的参数，而不是学习得到的，超参数一般都会对模型有着重要的影响。

L0、L1、L2正则化

可能有问题，迷糊了

• L0正则化的值是模型参数中非零参数的个数。如果用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。换句话说，让参数W是稀疏的。
• L1正则化表示各个参数绝对值之和:
  $$||x|{|}_1=\sum _{i=1}^n|x_i|$$
• L2正则化-又叫“岭回归”（Ridge Regression）、“权值衰减”（weight decay），它的作用是改善过拟合。过拟合是：模型训练时候的误差很小，但是测试误差很大，也就是说模型复杂到可以拟合到所有训练数据，但在预测新的数据的时候，效果很差。L2范数标识各个参数的平方的和的开方值:
  $$||x|{|}_2=\sqrt{\sum _{i=1}^n{x_i}^2}$$
  参考链接1
  参考链接2

参数优化

定义：参数优化是机器学习的核心步骤之一，它利用损失函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能。
$$L(W)=\frac{1}{N}\sum _i(L_i(f(x_i,W),y_i)+\lambda R(W)$$
$$L(W)=\frac{1}{N}\sum _{i=1}^N(L_i+\lambda R(W)$$
目标：损失函数L是一个与参数W有关的函数，优化的目标是找到使得损失函数L达到最优的那组参数W。

更新权重W

###= 梯度计算

• 数值法-计算量大，不精确，易写
• 解析法-精确，速度快，导数函数推导易出错

优化方法

• 梯度下降算法
• 随机梯度下降算法
• 小批量梯度下降算法
  

小批量随机梯度下降算法-----是为梯度下降算法和随机梯度下降算法的结合。

梯度算法改进

对应课程07-全连接神经网络

![请添加图片描述](https://img-blog.csdnimg.cn/4342c85a01164c4c81def8332e60899c.png

权重初始化

• 全0初始化
• 随机权值初始化
• Xavier初始化
• HE初始化(MSRA）

• 好的初始化方法可以防止前向传播过程中的信息消失，也可以
  解决反向传递过程中的梯度消失。
• 激活函数选
  择双曲正切或者Sigmoid时，建议使用Xaizer初始
  化方法；
• 激活函数选择ReLU或Leakly ReLU时，推荐使用He初始化方法。

应对过拟合

说明：PPT来自大佬Li Feifei.本文目的是，方便自己理解、查阅！