CS231n学习笔记

贺完结！CS231n官方笔记授权翻译总集篇发布

图像分类

1. 图像分类的任务，就是从已有的固定分类标签集合中选择一个并分配给一张图像。
2. 测试数据集只使用一次，即在训练完成后评价最终的模型时使用。当你在设计机器学习算法的时候，应该把测试集看做非常珍贵的资源，不到最后一步，绝不使用它。如果你使用测试集来调优，而且算法看起来效果不错，那么真正的危险在于：算法实际部署后，性能可能会远低于预期。这种情况，称之为算法对测试集过拟合。
3. 把训练集分成训练集和验证集。使用验证集来对所有超参数调优。最后只在测试集上跑一次并报告结果。
4. 交叉验证。有时候，训练集数量较小（因此验证集的数量更小），人们会使用一种被称为交叉验证的方法。在实际情况下，人们不是很喜欢用交叉验证，主要是因为它会耗费较多的计算资源。一般直接把训练集按照50%-90%的比例分成训练集和验证集。但这也是根据具体情况来定的：如果超参数数量多，你可能就想用更大的验证集，而验证集的数量不够，那么最好还是用交叉验证吧。常用的数据分割模式：给出训练集和测试集后，训练集一般会被均分。这里是分成5份。前面4份用来训练，黄色那份用作验证集调优。如果采取交叉验证，那就各份轮流作为验证集

线性分类

1. 引入正则化惩罚还带来很多良好的性质，比如引入了L2惩罚后，SVM们就有了最大边界（max margin）这一良好性质。其中最好的性质就是对大数值权重进行惩罚，可以提升其泛化能力，