cs231n第三节Loss Function and Optimization

之前发了这门课前两节的ppt，因为懒的原因，看完教学视频就没有及时注解。。
现在开始，每次就一边看视频一边做笔记了。
本节课讲的是损失函数和优化的内容。（推荐deep learning的中文版，回头再加上这部分的学习笔记）
上一讲提到了视觉识别的挑战，尤其是图像分类。现在不仅能对猫进行分类识别，对成千上万的物体也能进行识别，且利用最前沿的算法，我们的识别精度可以达到人类的精确度，在识别某些物体时精度甚至更高。这样的识别算法已经在我们的手机里运行。

对于下面这个来自德国的数据集，我们不能对它进行硬编码来分类，而必须先训练数据，得到合适的分类器。我们得到不同的训练集和交叉验证集，来得到超参数和测试集。具体讲了这个最近邻分类器和KNN分类器的例子。

最后讲解了一个训练样例。我们有一个训练集，三张图片，10个类。评分函数以特定一系列的随机权重对每一个图片的每个类进行评估分数。我们得到了一些分数。有些好有些不好。如左边第一列，正确的类别是猫，但是猫类只得到2.9分，不算好。对于不同的权值可以得到 不同的分数，这个用来对图像分类。我们需要对得到的权值进行评估，一旦我们有这个损失函数，就可以对它进行最小化，从而得到最合适的权值组合。

假设我们有三个类和三幅图像，以及一些随机初始权值。使用分类算法得到最后分类评估分数。

Li是损失函数。我们把分类算法得到的各类的分数si带入损失函数，得到损失值.
losses分别是2.9,0,10.9。
L=（2.9+0+10.9）/3=4.6
Q1:what if the sum was instead over all classes?(including j = y_i)
Q2:what if we used a mean instead of a sum here?doesnt matter at all, w wont change in this way.
Q3:what is the min/max possible loss?

看到car这列，所有car的得分比其它类得分都至少大1，所以loss是0。暂时保存到这里，明天接着编辑。。。