计算机视觉与深度学习第三章：线性分类器

计算机视觉与深度学习

本文按照北京邮电大学计算机学院鲁鹏老师的计算机视觉与深度学习课程按章节进行整理，需要的同学可借此系统学习该课程详尽知识~

---

---

本节重点

一、图像表示

图像类型：二进制图像（非黑即白）、灰度图像、彩色图像

大多数分类算法都要求输入向量

二、分类模型

1.线性分类器

定义

线性分类器是一种线性映射，将输入的图像特征映射为类别分数。

决策规则

优势

1. 形式简单、易于理解
2. 通过层级结构(神经网络)或者高维映射(支撑向量机)可以形成功能强大的非线性模型

矩阵表示

2.线性分类器权值向量

注：

1. 权值看做是一种模板
2. 输入图像与评估模板的匹配程度越高，分类器输出的分数就越高

3.线性分类器决策边界

给出最优的分类模型，还要损失函数与优化算法的帮忙。

三、损失函数

1.损失函数定义

损失函数搭建了模型性能与模型参数之间的桥梁，指导模型参数优化。

1. 损失函数是一个函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
2. 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果。
   

2.多类支撑向量机损失

定义

示例

损失函数扩展

问题:假设存在一个W使损失函数L=0，这个W是唯一的吗?

答案：不唯一，因为W:同样有L=0

那么如何在W1和W2之间做出选择?       引入正则项

3.正则项与超参数

正则项定义

超参数定义

示例（引入L2正则项）

常用正则项

四、优化算法

1.参数优化

参数优化是机器学习的核心步骤之一， 它利用损失函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能。

2.算法目标

3.相关算法

1）梯度下降算法

梯度计算

求梯度时一般使用解析梯度,而数值梯度主要用于解析梯度的正确性校验(梯度检查)。

算法效率

2）随机梯度下降算法

3）小批量梯度下降算法

训练过程

数据集划分

如果数据很少，那么可能验证集包含的样本就太少，从而无法在统计上代表数据。

数据预处理

附：线性分类器体验

---