写在前面

最近在学习斯坦福深度学习CS231N的课程，其实之前学习过，但只做了纸质笔记不方便携带，今天想继续学习的时候发现没带笔记且时隔一阵子就只留了模糊印象，因此只能重看，所幸重温时发现能够回忆起来。

遂下定决心尽管麻烦一些，但还是整理成电子版以方便查阅，也能同大家交流共享。
话不多说，切入正题。

计算机视觉识别的难点

计算机视觉识别不像人眼，能够快速准确地识别物体，我们生来就有相应的生理结构（人眼和人的视觉系统）来做这件事情，而计算机所见到的图像是由不同的像素点构成的，每个像素点又有各自的特征（比如RGB），所以图像在计算机眼中就是一堆数字，不同的构成或许都代表同一种物体。

在这种情况下，识别物体就会有很多困难，最为显著的五点：

五种难点——以猫的识别为例

这些都要求我们的算法具备鲁棒性。

但这种方法其实不好：

可以拓展到识别世界上各种对象——数据驱动的方法。

不写具体的分类规则来识别特定事物，取而代之：

两个函数：训练函数和预测函数。

曼哈顿距离

两张图间有456（L1距离）的差异。

最近邻算法：

最近邻算法的Python实现

这种算法尽管非常简单，但其训练函数的运行时间为O(1)，而预测函数的运行时间为O(N)，跟现实需求不符，现实中可以允许训练模型花费大量时间但预测需要在很短时间内完成并返回结果。

而由于距离度量为1，即仅找寻最近距离的点时，不能很好地兼容噪点等干扰因素。优化方法为根据距离度量，找到最近的K个点，然后在这些相邻点中进行投票，从票数多的邻近点中预测出结果——K-最近邻算法（KNN）。

K-最近邻算法的示例

相较而言，K越大，决策边界更平滑。

但这种算法的表现效果并不好。在考虑计算距离时，可以选择不同的距离度量，之前用的L1，其实也可以考虑L2。

L1和L2的比较

L1距离取决于选择的坐标系统，转动坐标轴将带来L1距离的改变，而对L2无影响。
所以如果输入的特征向量中的各个元素都有实际意义，选L1可能更好。
但如果只是某空间的一个通用向量，不知道实际代表的含义，选L2更合适。

选择不同距离度量／K值／种类／点数的demo

上例中的K和距离度量称为超参数(人为设置而非从训练数据中学到)：需要根据具体情况选择。

设置超参数的错误及正确方式

直接选择在数据集中表现最好的超参数。
❌：K=1的时候，即可很好地分类数据集，而选择大一些的K值，尽管对原数据集可能有个别差错，但对在训练集中未出现过的数据分类性能更佳。
将数据集分为训练集和测试集，选择在测试集中表现最好的超参数。
❌：仅可说明其在当前数据集中表现好，无代表性（对新数据来说）。
将数据集分为训练集、验证集和测试集，在训练集中用不同的超参数训练算法，在验证集中进行评估，然后将一组表现最好的超参数，用到测试集中获得结果。✅
（PS：训练集和验证集的区别在于，训练集同时知道图片和标签，而验证集仅知到图片，使用标签来验证结果正确与否）