分类任务的性能度量

为了评估机器学习算法的能力，我们必须设计其性能的定量度量。对于诸如分类和转录任务，我们通常度量模型的准确率。准确率是指该模型输出正确结果的样本比率。我们也可以通过错误率得到相同的信息。错误率是指该模型输出错误结果的样本比率。我们通常把错误率称为0-1损失的期望。在一个特定的样本上，如果结果是对的，那么0-1损失是0; 否则是1。

通常，我们会更加关注机器学习算法在未观测数据上的性能如何，因为这将决定其在实际应用中的性能。因此，我们使用测试集数据来评估系统性能。

蛋哥最近拿到一个客户最近半年的所有派单数据，派单是指给一个运输订单指定一个运输供应商，通过简单的数据分析，抽象出了2000条左右的派单规则，但是目前系统支持2000条规则的时候有些性能问题。解决这个问题的一种方法是解决性能问题，另一种方法就是机器学习了，是一种分类任务的机器学习，第一感觉是用决策树相关的机器学习算法比较合适。

可以把半年的历史数据分为两份，一份是5个月的数据，作为训练数据集，一份是一个月的数据作为测试数据集，用5个月的数据训练出一个正确率在90%以上的模型，然后验证这个模型在测试集上的表现是否也能到90%以上。

这个模型上线以后，因为还有10%的错误率，需要运输供应商使用系统中的接单/拒单功能，对于正确的派单接单，对于错误的派单拒单，根据这个数据，可以度量这个模型在产品环境的准确率是否可以达到用户的预期。