机器学习之优化指标和满意度指标

接上一章 如何建立单一数字评价指标以优化算法性能

还有另外一种方法，可以将多种评价指标结合起来。

假设我们同时关注准确率和算法学习的运行时间这两项指标。首先，我们需要从以下三个分类器中做出选择：

image.png

通过将准确率和算法学习运行时间放入单个公式计算后获得一个单一数字指标，这似乎并不符合常理，比如说：

准确率-0.5*运行时间

那你可以这样做：首先，定义一个“可接受的运行时间”，比如说运行时间为100毫秒以内的可以接受；然后，在限定的运行时间范围内，找出对应的分类器，并将其准确率最大化。此时，运行时间代表着“满意度指标”——在此指标下，分类器只需要表现得“足够好”就ok了。严格意义上来讲，运行时间的最大值应该为100ms。准确率则代表着“优化指标”。

如果有N种不同的标准，比如说模型的二进制文件大小（对于手机app来说比较重要，因为用户都不想下载占太大内存的app），以及N种不同的运行时间和准确率，那么你可能得设置N-1个满意度指标，即先要求它们满足一定的值或范围，下一步才是定义一个 “优化”指标。举个例子，设置二进制文件大小和运行时间可接受的阈值，并尝试在给定这些约束的情况下来优化准确率指标。

最后，再举个例子，假设你正在设计一个硬件设备，该设备具有唤醒功能，用户对着麦克风说出一个命令词，即可唤醒该设备，类似亚马逊的“Alexa”, 苹果的“Hi Siri”，安卓的“Okay,Google”，百度的“你好，百度”。在这种情况下，你不仅关注误报率（即即使没有人说出唤醒词系统也会被唤醒的频率），还关注漏报率（即当有人说出唤醒词时，设备无法被唤醒的次数）。该系统的一个合理目标是将漏报率（优化指标）最小化，减少用户说出唤醒词而系统却没能被唤醒的发生率，同时设置约束为每24小时不超过一次误报（满意度指标）。

一旦您的团队在优化评估指标上保持一致，他们就能够取得更快的进展。

---

大家好，我是AI搬运工
致力于将国外的AI好文，翻译成大家都懂的中国话！
本文属于AI搬运工自行翻译，如有错误，欢迎指正！
原文摘自于：Machine Learning Yearning（Technical Strategy for AI Engineers, In the Era of Deep Learning)(Draft Version)

往期回顾
01 谈及监督学习时，我们在谈什么？
02 监督学习之回归分析法：预测连续数值
03 监督学习之分类算法
04 验证集和测试集与机器学习有什么关系
05 开发集和测试集应该来自于同一分布吗?
06 开发集和测试集需要多少个样本数据？
07 如何建立单一数字评价指标以优化算法性能