机器学习系统的设计

一、首先要做什么

        我们以一个垃圾邮件分类器算法为例进行讨论。为了解决这样一个问题，我们首先要做的是如何选择并表达特征向量X。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否在邮件中出现来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。为了构建这个分类器算法，我们可以做很多事，例如：

        在上面这些选项中，我们非常难决定应该在哪一项上花费时间和精力，因此我将在随后的内容中讲解误差分析，我会告诉你用一个更加系统性的方法从一堆不同的方法中选取合适的那一个

二、误差分析

        在本小节内容中，我将会讲到误差分析（error analysis）的概念，这会帮助你更系统地做出决定。如果你准备研究机器学习的东西或者构造机器学习应用程序，最好的实践方法不是建立一个非常复杂的系统、拥有多么复杂的变量，而是构建一个简单的算法，这样你可以很快地实现它。

        其实每当我们研究机器学习的问题时，我们可以尝试着最多只花一天的时间来试图很快地把结果搞出来，即便效果不好，最后通过交叉验证来检验数据。一旦做完，通过画出学习曲线以及检验误差来找出你的算法是否有高偏差和高方差的问题或者别的问题。在这样分析之后，再来决定用更多的数据训练，或者加入更多的特征变量是否有用。这么做的原因是，在你刚接触机器学习问题时你并不能提前知道你是否需要复杂的特征变量，或者你是否需要更多的数据，还是别的什么。提前知道你应该做什么是非常难的，因为你缺少证据，缺少学习曲线，因此你很难知道你应该把时间花在什么地方来提高算法的表现。但是当你实现一个非常简单即便不完美的方法时，你可以通过画出学习曲线来做出进一步的选择，你可以用这种方式来避免一种编程里的过早优化问题，这种理念是：我们必须用证据来领导我们的决策，而不是仅仅凭直觉，凭直觉得出的东西一般是错误的。

        除了画出学习曲线之外，一件非常有用的事是误差分析，比如说：当我们在构造垃圾邮件分类器时，我会看一看我的交叉验证数据集，然后亲自看一看哪些邮件被算法错误地分类。因此，通过这些被算法错误分类的垃圾邮件与非垃圾邮件，你可以发现某些系统性的规律：什么类型的邮件总是被错误分类。经常地这样做之后，这个过程能启发你构造新的特征变量，或者告诉你现在这个系统的短处，然后启发你如何去提高它。

构建一个学习算法的推荐方法：

1. 从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法

2.绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择

3.进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的实例，看看这些实例是否有某种系统化的趋势

        以我们的垃圾邮件过滤器为例，误差分析要做的既是检验交叉验证集中我们的算法产生错误预测的所有邮件，看是否能将这些邮件按照类分组，例如医药品垃圾邮件，仿冒品垃圾邮件或者密码窃取邮件等，然后看分类器对哪一组邮件的预测误差最大并着手优化。

        误差分析并不总能帮助我们判断应该采取怎样的行动，有时我们需要尝试不同的模型然后进行比较，通常我们是看交叉验证集的误差来判断哪一个模型更有效。

    三、类偏斜的误差度量

        在前面的小节中，我提到了误差分析以及设定误差度量值，但是有一种偏斜类（skewed classes）的问题值得我们关注，类偏斜情况表现为我们的训练集中有非常多的同一种类的实例，只有很少或没有其他类的实例。

        例如我们希望用算法来预测癌症是否是恶性的，在我们的训练集中，只有0.5%的实例是恶性肿瘤。假设我们编写一个非学习而来的算法，在所有情况下都预测肿瘤是良性的，那么误差只有0.5%。然而我们通过训练而得到的神经网络算法却有1%的误差，但是这时误差的大小是不能视为评判算法效果的依据的，因此我们引入查准率和查全率(召回率)的概念。

根据查准率(Precision)和查全率(Recall)我们将算法预测的结果分成四种情况：

1. 正确肯定（True Positive,TP）：预测为真，实际为真

2. 正确否定（True Negative,TN）：预测为假，实际为假

3. 错误肯定（False Positive,FP）：预测为真，实际为假

4. 错误否定（False Negative,FN）：预测为假，实际为真

则：查准率=TP/（TP+FP）例如：在所有我们预测有恶性肿瘤的病人中，实际上有恶性肿瘤的病人的百分比越高越好

查全率=TP/（TP+FN）例如：在所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤的病人的百分比越高越好。

这样对于我们刚才那个总是预测病人肿瘤为良性的算法，其查全率是0

四、查准率和查全率之间的权衡

        在之前的内容中，我们谈到查准率和召回率作为遇到偏斜类问题的评估度量值。在很多应用中，我们希望能够保证查准率和召回率的相对平衡。在这小节中，我将告诉你应该怎么做，同时也向你展示一些查准率和召回率作为算法评估度量值的更有效的方式。继续沿用刚才预测肿瘤性质的例子，假如我们的算法输出的结果在0-1 之间，我们使用阀值0.5 来预测真和假。

        如果我们希望只在非常确信的情况下预测为真（肿瘤为恶性），即我们希望更高的查准率，我们可以使用比0.5更大的阀值，如0.7，0.9。这样做我们会减少错误预测病人为恶性肿瘤的情况，同时却会增加未能成功预测肿瘤为恶性的情况。

        如果我们希望提高查全率，尽可能地让所有可能是恶性肿瘤的病人都得到进一步地检查、诊断，我们可以使用比0.5更小的阀值，如0.3。

​    我们可以将不同阀值情况下，查全率与查准率的关系绘制成图表，曲线的形状根据数据的不同而不同：

我们希望有一个帮助我们选择这个阀值的方法，一种方法是计算F1 值（F1 Score），其计算公式为下图，我们选择使得F1值最高的阀值