CS231n课程笔记翻译：线性分类笔记（中，下）包括损失函数的内容
原文如下
内容列表：
- 线性分类器简介
- 线性评分函数
- 阐明线性分类器
- 损失函数
- 多类SVM 译者注：中篇翻译截止处
- SOFTMAX分类器
- SVM和SOFTMAX的比较
- 基于网络的可交互线性分类器原型
- 小结
损失函数损失函数
在上一节定义了从图像像素值到所属类别的评分函数（得分函数），该函数的参数是权重矩阵。在函数中，数据是给定的，不能修改。但是我们可以调整权重矩阵这个参数，使得评分函数的结果与训练数据集中图像的真实类别一致，即评分函数在正确的分类的位置应当得到最高的评分（评分）。
回到之前那张猫的图像分类例子，它有针对“猫”，“狗”，“船”三个类别的分数我们看到例子中权重值非常差，因为猫分类的得分非常低（ - 96.8），而狗（437.9）和船（61.95）比较高。将我们使用损失函数（损失函数）（也。有时叫代价函数费用函数或目标函数目的）来衡量我们对结果的不满意程度。直观地讲，当评分函数输出结果与真实结果之间差异越大，损失函数输出越大，反之越小。
多类支持向量机损失多类支持向量机丢失
损失函数的具体形式多种多样。首先，介绍常用的多类支持向量机（SVM）损失函数.SVM的损失函数想要SVM在正确分类上的得分始终比不正确分类上的得分高出一个边界值。我们可以把损失函数想象成一个人，这位SVM先生（或者女士）对于结果有自己的品位，如果某个结果能使得损失值更低，那么SVM就更加喜欢它。
让我们更精确一些。回忆一下，第我数据个所有游戏中图像的像素代表状语从句：类别正确标签的。评分函数输入像素数据，通过然后公式的来计算不同分类照片类别的分值。这里我们将分值简写为。比如，针对第j个类别的得分就是第j个元素：。针对第i个数据的多类SVM的损失函数定义如下：
举例：假设用一个例子演示公式是如何计算的有3个分类，并且得到了分值。其中第一个类别是正确类别，即。同时假设。是10（后面会详细介绍该超参数）上面。的公式是将所有不正确分类（）加起来，所以我们得到两个部分：
可以看到第一个部分结果是0，这是因为[-7-13 + 10]得到的是负数，经过函数处理后得到0.这一对类别分数和标签的损失值是0，这是因为正确分类的得分13与错误分类的得分-7的差为20，高于边界值10而SVM只关心差距至少要大于10，更大的差值还是算作损失值为0。第二个部分计算[11-13 + 10]得到8.虽然正确分类的得分比不正确分类的得分要高（13> 11），但是比10的边界值还是小了，分差只有2，这就是为什么损失值等于8，简而言之，SVM损失的函数想要正确分类照片类别的分数比不正确类别分数高，而且至少要高。如果不满足这点，就开始计算损失值。
那么在这次的模型中，我们面对的是线性评分函数（），所以我们可以将损失函数的公式稍微改写一下：
其中的英文权重的第Ĵ行，被变形为列向量。然而，开始一旦考虑更复杂的评分函数公式的，这样做就不是必须的了。
在结束这一小节前，还必须提一下的属于是关于0的阀值：函数，它常被称为折叶损失（hinge loss）。有时候会听到人们使用平方折叶损失SVM（即L2-SVM），它使用的是，将更强烈（平方地而不是线性地）地惩罚过界的边界值。不使用平方是更标准的版本，但是在某些数据集中，平方折叶损失会工作得更好。可以通过交叉验证来决定到底使用哪个。
我们对于预测训练集数据分类标签的情况总有一些不满意的，而损失函数就能将这些不满意的程度量化。
-----------------------------------------
多类SVM“想要”正确类别的分类分数比其他不正确分类类别的分数要高，而且至少高出增量的边界值。如果其他分类分数进入了红色的区域，甚至更高，那么就开始计算损失。如果没有这些情况，损失值为0。我们的目标是找到一些权重，它们既能够让训练集中的数据样例满足这些限制，也能让总的损失值尽可能地低。
-----------------------------------------
正则化（正规化）： 。上面损失函数有一个问题假设有一个数据集和一个权重集W¯¯能够正确地分类每个数据（即所有的边界都满足，对于所有的我都有。）问题在于这个W¯¯并不唯一：可能有很多相似的W¯¯都能正确地分类所有的数据一个简单的例子：如果w ^能够正确分类所有数据，即对于每个数据，损失值都是0。当那么时，任何数乘都能使得损失值为0，因为这个变化将所有分值的大小都均等地扩大了，所以它们之间的绝对差值也扩大了。举个例子，如果一个正确分类的分值和举例它最近的错误分类的分值的差距是15，对w ^乘以2将使得差距变成30。
换句话说，我们希望能向某些特定的权重w ^添加一些偏好，对其他权重则不添加，以此来消除模糊性。这一点是能够实现的，的英文方法向损失函数增加一个正则化惩罚（正规化惩罚）部分。最常用的正则化惩罚是L2范式，L2范式通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重：
上面的表达式中，将中所有元素平方后求和。注意正则化函数不是数据的函数，仅基于权重。包含正则化惩罚后，就能够给出完整的多类SVM损失函数了，它由两个部分组成：数据损失（数据丢失），即所有样例的平均损失，以及正则化损失（正则化损失）。完整公式如下所示：
将其展开完整公式是：
其中，是训练集的数据量。现在正则化惩罚添加到了损失函数里面，并超用参数来计算其权重。该超参数无法简单确定，需要通过交叉验证来获取。
除了上述理由外，引入正则化惩罚还带来很多良好的性质，这些性质大多会在后续章节介绍。比如引入了L2惩罚后，SVM们就有了最大边界（max margin）这一良好性质。（如果感兴趣，可以查看CS229课程）。
其中最好的性质就是对大数值权重进行惩罚，可以提升其泛化能力，因为这就意味着没有哪个维度能够独自对于整体分值有过大的影响。举个例子，假设输入向量，两个权重向量，。那么，两个权重向量都得到同样的内积，但是的L2惩罚是1.0，而L2的惩罚是0.25。因此，根据L2惩罚来看，更好，因为它的正则化损失更小。从直观上来看，的英文这因为的权重值更小且更分散。既然L2惩罚倾向于更小更分散的权重向量，这就会鼓励分类器最终将所有维度上的特征都用起来，而不是强烈依赖其中少数几个维度。在后面的课程中可以看到，这一效果将会提升分类器的泛化能力，并避免过拟合。
需要注意的是，和权重不同，偏差没有这样的效果，因为它们并不控制输入维度上的影响强度。因此通常只对权重正则化，而不正则化偏差。在实际操作中，可发现这一操作的影响可忽略不计。最后，因为正则化惩罚的存在，不可能在所有的例子中得到0的损失值，的英文这因为只有当的特殊情况下，才能得到损失值为0。
代码：下面是一个无正则化部分的损失函数的Python的实现，有非向量化和半向量化两个形式：
def L_i(x, y, W):
"""
unvectorized version. Compute the multiclass svm loss for a single example (x,y)
- x is a column vector representing an image (e.g. 3073 x 1 in CIFAR-10)
with an appended bias dimension in the 3073-rd position (i.e. bias trick)
- y is an integer giving index of correct class (e.g. between 0 and 9 in CIFAR-10)
- W is the weight matrix (e.g. 10 x 3073 in CIFAR-10)
"""
delta = 1.0 # see notes about delta later in this section
scores = W.dot(x) # scores becomes of size 10 x 1, the scores for each class
correct_class_score = scores[y]
D = W.shape[0] # number of classes, e.g. 10
loss_i = 0.0
for j in xrange(D): # iterate over all wrong classes
if j == y:
# skip for the true class to only loop over incorrect classes
continue
# accumulate loss for the i-th example
loss_i += max(0, scores[j] - correct_class_score + delta)
return loss_i
def L_i_vectorized(x, y, W):
"""
A faster half-vectorized implementation. half-vectorized
refers to the fact that for a single example the implementation contains
no for loops, but there is still one loop over the examples (outside this function)
"""
delta = 1.0
scores = W.dot(x)
# compute the margins for all classes in one vector operation
margins = np.maximum(0, scores - scores[y] + delta)
# on y-th position scores[y] - scores[y] canceled and gave delta. We want
# to ignore the y-th position and only consider margin on max wrong class
margins[y] = 0
loss_i = np.sum(margins)
return loss_i
def L(X, y, W):
"""
fully-vectorized implementation :
- X holds all the training examples as columns (e.g. 3073 x 50,000 in CIFAR-10)
- y is array of integers specifying correct class (e.g. 50,000-D array)
- W are weights (e.g. 10 x 3073)
"""
# evaluate loss over all examples in X without using any for loops
# left as exercise to reader in the assignment
在本小节的学习中，一定要记得SVM损失采取了一种特殊的方法，使得能够衡量对于训练数据预测分类和实际分类标签的一致性。还有，对训练集中数据做出准确分类预测和让损失值最小化这两件事是等价的。
接下来要做的，就是找到能够使损失值最小化的权重了。
实际考虑
设置Delta：你可能注意到上面的内容对超参数及其设置是一笔带过，那么它应该被设置成什么值？需要通过交叉验证来求得吗？现在看来，该超参数在绝大多数情况下设为都是安全的超参数。状语从句：看起来的英文两个不同的超参数，但实际上他们一起控制同一个权衡：即损失函数中的数据损失和正则化损失之间的权衡理解这一点的关键是要知道，重权的大小对于分类照片分值有直接影响（当然对他们的差异也有直接影响）：当我们将。中值缩小，分类分值之间的差异也变小，反之亦然因此，不同分类分值之间的边界的具体值（比如或）从某些角度来看是没意义的，因为权重自己就可以控制差异变大和缩小。也就是说，真正的权衡是我们允许权重能够变大到何种程度（正通过化则强度来控制）。
与二元支持向量机（Binary Support Vector Machine）的关系：在学习本课程前，你可能对二元支持向量机有些经验，它对于第i个数据的损失计算公式是：
其中，是一个超参数，并且。可以认为本章节介绍的SVM公式包含了上述公式，上述公式是多类支持向量机公式只有两个分类类别的特例。也就是说，如果我们要分类的类别只有两个，那么公式就化为二元SVM公式。公式这个中的状语从句：多类SVM中公式的都控制关系着同样的权衡，而且它们之间的关系是
备注：在初始形式中进行最优化。如果在本课程之前学习过SVM，那么对仁，对偶，SMO算法等将有所耳闻在本课程（主要是神经网络相关）中，损失函数的最优化的始终在非限制初始形式下进行。很多这些损失函数从技术上来说是不可微的（当比如时，函数就不可微分），但是在实际操作中并不存在问题，因为通常可以使用次梯度。
备注：其他多类SVM公式。需要指出的是，本课中展示的多类SVM只是多种SVM公式中的一种。另一种常用的公式是One-Vs-All（OVA）SVM，它针对每个类和其他类训练一个独立的二元分类器。还有另一种更少用的叫做All-Vs-All（AVA）策略。我们的公式是按照Weston and Watkins 1999（pdf）版本，比OVA性能更强（在构建有一个多类数据集的情况下，这个版本可以在损失值上取到0，而OVA就不行。感兴趣的话在论文中查阅细节）。最后一个需要知道的公式是结构化SVM，它将正确分类的分类分值和非正确分类中的最高分值的边界最大化。理解这些公式的差异超出了本课程的范围。本课程笔记介绍的版本可以在实践中安全使用，而被论证为最简单的OVA策略在实践中看起来也能工作的同样出色（在Rikin等人2004年的论文In One-Vs-All Classification（pdf）中可查）。
线性分类笔记（中）完。
CS231n课程笔记翻译：线性分类笔记（下）
原文如下
内容列表：
- 线性分类器简介
- 线性评分函数
- 阐明线性分类器
- 损失函数
- 多类SVM
- SOFTMAX器分类照片 译者注：下篇翻译起始处
- SVM和SOFTMAX的比较
- 基于网络的可交互线性分类器原型
- 小结
SOFTMAX分类器
SVM是最常用的两个分类器之一，而另一个就是使用SoftMax分类器，它的损失函数与SVM的损失函数不同。对于学习过二元逻辑回归分类器的读者来说，使用SoftMax分类器就可以理解为逻辑回归分类器面对多个分类的一般化归纳.SVM输出将作为每个分类照片的评分（因为无定标，所以难以直接解释）。与SVM不同，使用SoftMax的输出（归一化的分类概率）更加直观，并且从概率上可以解释，这一点后文会讨论。在使用SoftMax分类器中，映射函数保持不变，但将这些评分值视为每个分类的未归一化的对数概率，并且将折损失（铰链损失）替换为交叉熵损失（交叉熵损失）。公式如下：
或等价的
在上式中，使用来表示分类照片评分向量中的第Ĵ个元素。和之前一样，整个数据集的损失值的英文数据集中所有样本数据的损失值的均值与正则化损失之状语从句：。其中函数被称作softmax函数：其输入值是一个向量，向量中元素为任意实数的评分值（中的），函数对其进行压缩，输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1。所以，包含SOFTMAX函数的完整交叉熵损失看起唬人，实际上还是比较容易理解的。
信息理论视角：在“真实”分布状语从句：估计分布之间的交叉熵定义如下：
因此，使用SoftMax分类器所做的就是最小化在估计分类概率（就是上面的）和“真实”分布之间的交叉熵，在这个解释中，“真实”分布就是所有概率密度都分布在正确的类别上（比如：中在的位置就有一个单独的1）。还有，既然交叉熵可以写成熵和相对熵（Kullback-Leibler divergence），并且delta函数的熵是0，那么就能等价的看做是对两个分布之间的相对熵做最小化操作。换句话说，交叉熵损失函数“想要”分布预测的所有概率密度都在正确分类照片上。
译者注：Kullback-Leibler差异也叫做相对熵（Relative Entropy），它衡量的是相同事件空间里的两个概率分布的差异情况。
概率论解释：先看下面的公式：
可以解释为是给定图像数据，以为参数，分配给正确分类照片标签的归一化概率。为了理解这点，请回忆一下SOFTMAX分类照片器将输出向量中的评分值解释为没有归一化的对数概率。那么以这些数值做指数函数的幂就得到了没有归一化的概率，而除法操作则对数据进行了归一化处理，使得这些概率的和为1。从概率论的角度来理解，我们就是在最小化正确分类的负对数概率，可以这看做的英文在进行最大似然估计（MLE）。该解释的另一个好处是，函数损失中的正则化部分可以被看做的英文权重矩阵的高斯先验，这里进行的是最大后验估计（MAP）而不是最大似然估计。提及这些解释只是为了让读者形成直观的印象，具体细节就超过本课程范围了。
实操事项：稳定塔数值编程实现SOFTMAX函数计算的时候，项中间状语从句：。因为存在指数函数，所以数值可能非常大除以大数值可能导致数值计算的不稳定，所以学会使用归一化技巧非常重要。如果在分式的分子和分母都乘以一个常数，并把它变换到求和之中，就能得到一个从数学上等价的公式：
的值可自由选择，不会影响计算结果，通过使用这个技巧可以提高计算中的数值稳定性。将通常设为。该技巧简单地说，应该就是将向量中的数值进行平移，使得最大值为0代码实现如下：
f = np.array([123, 456, 789]) # 例子中有3个分类，每个评分的数值都很大
p = np.exp(f) / np.sum(np.exp(f)) # 不妙：数值问题，可能导致数值爆炸
# 那么将f中的值平移到最大值为0：
f -= np.max(f) # f becomes [-666, -333, 0]
p = np.exp(f) / np.sum(np.exp(f)) # 现在OK了，将给出正确结果
让人迷惑的命名规则：精确地说，SVM分类器使用的是折叶损失（铰链损失），有时候被称为最大边界损失（最大边缘损失） .Softmax分类器使用的是交叉熵损失（ Corss -entropy loss） .Softmax分类器的命名是从softmax函数那里得来的，softmax函数将原始分类评分变成正的归一化数值，所有数值和为1，这样处理后交叉熵损失才能应用。注意从技术上说“softmax损失（softmax loss）”是没有意义的，因为softmax只是一个压缩数值的函数。但是在这个说法常常被用来做简称。
SVM和SOFTMAX的比较
下图有助于区分这Softmax和SVM这两种分类器：----------------------------------------
针对一个数据点，SVM和Softmax分类器的不同处理方式的例子。两个分类器都计算了同样的分值向量f（本节中是通过矩阵乘来实现）。不同之处在于f分值的解释：SVM分类器将它们看做是分类评分，它的损失函数鼓励正确的分类（本例中是蓝色的类别2）的分值比其他分类的分值高出至少一个边界值。 SOFTMAX器分类照片将这些数值看做的英文每个分类照片没有归一化的对数概率，鼓励正确分类的归一化的对数概率变高，其余的变低.SVM的最终的损失值是1.58，使用SoftMax的最终的损失值是0.452，但要注意这两个数值没有可比性。只在给定同样数据，在同样的分类器的损失值计算中，它们才有意义。
----------------------------------------
Softmax分类器为每个分类提供了“可能性”：SVM的计算是无标定的，而且难以针对所有分类的评分值给出直观解释.Softmax分类器则不同，它允许我们计算出对所有分类标签SVM分类器可能给你的是一个[12.5，0.6，-23.0]对应分类“猫”，“狗”，“船”。而softmax分类器可以计算出这三标签的“可能性”是[0.9，0.09，0.01]，这就让你能看出对于不同分类准确性的把握。为什么我们要在“可能性”上面打引号呢？这是因为可能性分布的集中或离散程度是由正则化参数λ直接决定的，λ是你能直接控制的一个输入参数。假设3个分类的原始分数是[1，-2，0] ，那么SOFTMAX函数就会计算：
现在，如果正则化参数λ更大，那么权重W就会被惩罚的更多，然后他的权重数值就会更小。这样算出来的分数也会更小，假设小了一半吧[0.5， - 1，0]，那么softmax函数的计算就是：
现在看起来，概率的分布就更加分散了。还有，随着正则化参数λ不断增强，权重数值会越来越小，最后输出的概率会接近于均匀分布。这就是说，SOFTMAX分类器算出来的概率最好是看成一种对于分类正确性的自信。和SVM一样，数字间相互比较得出的大小顺序是可以解释的，但其绝对值则难以直观解释。
在实际使用中，SVM和SOFTMAX经常是相似的。通常说来，两种分类器的表现差别很小，不同的人对于哪个分类器更好有不同的看法相对于使用SoftMax分类器，SVM更加“局部目标化（局部目标）“，这既可以看做是一个特性，也可以看做是一个劣势。考虑一个评分是[10，-2，3]的数据，其中第一个分类是正确的。那么一个SVM（）会看到正确分类相较于不正确分类，已经得到了比边界值还要高的分数，它就会认为损失值是0.SVM对于数字个体的细节是不关心的：如果分数是[10，-100，-100]或者[10,9,9]，对于SVM来说没设么不同，只要满足超过边界值等于1，那么损失值就等于0。
对于softmax分类器，情况则不同。对于[10，9，9]来说，计算出的损失值就远远高于[10，-100，-100]的。对于分数是永远不会满意的。正确分类总能得到更高的可能性，错误分类总能得到更低的可能性，损失值总是能够更小但是，SVM只要边界值被满足了就满意了，不会超过限制去细微地操作具体分数。这可以被看做是SVM的一种特性。举例说来，一个汽车的分类器应该把他的大量精力放在如何分辨小轿车和大卡车上，而不应该纠结于如何与青蛙进行区分，因为区分青蛙得到的评分已经足够低了。
交互式的网页演示
----------------------------------------
我们实现了一个交互式的网页原型，来帮助读者直观地理解线性分类器。原型将损失函数进行可视化，画面表现的是对于2维数据的3种类别的分类。原型在课程进度上稍微超前，展现了最优化的内容，最优化将在下一节课讨论。
----------------------------------------
小结
总结如下：
- 定义了从图像像素映射到不同类别的分类评分的评分函数。在本节中，评分函数是一个基于权重w ^和偏差b的线性函数。
- 与k近邻分类器不同，参数方法的优势在于一旦通过训练学习到了参数，就可以将训练数据丢弃了。同时该方法对于新的测试数据的预测非常快，因为只需要与权重w ^进行一个矩阵乘法运算。
- 介绍了偏差技巧，让我们能够将偏差向量和权重矩阵合二为一，然后就可以只跟踪一个矩阵。
- 定义了损失函数（介绍了SVM和使用SoftMax线性分类器最常用的2个损失函数）。损失函数能够衡量给出的参数集与训练集数据真实类别情况之间的一致性。在损失函数的定义中可以看到，对训练集数据做出良好预测与得到一个足够低的损失值这两件事是等价的。
现在我们知道了如何基于参数，将数据集中的图像映射成为分类的评分，也知道了两种不同的损失函数，它们都能用来衡量算法分类预测的质量。但是，如何高效地得到能够使损失值最小的参数呢？这个求得最优参数的过程被称为最优化，将在下节课中进行介绍。
拓展阅读
下面的内容读者可根据兴趣选择性阅读。
- 使用线性支持向量机的深度学习一文的作者是Tang Charlie，论文写于2013年，展示了一些L2SVM比Softmax表现更出色的结果。
线性分类笔记全文翻译完毕。