4.1 模型评估

4.1 模型评估

李沐

B站：https://space.bilibili.com/1567748478/channel/collectiondetail?sid=28144

课程主页：https://c.d2l.ai/stanford-cs329p/

课件：https://c.d2l.ai/stanford-cs329p/_static/pdfs/cs329p_slides_6_1.pdf

机器学习关注的不是训练好的模型对训练数据集的预测有多好，更加关心的是，再采样一个新的数据样本，然后输入到训练好的模型，这个模型对新的数据的预测性能。

1. 模型指标：

• 在监督学习中，通过最小化损失来训练模型：
  • 损失的值是一个被广泛使用来衡量模型质量的指标；
• 其他衡量指标：
  • 模型方面：比如分类的准确率，目标检测的 mAP；
  • 商业方面：比如模型对营收的影响，推理时间等；
• 在对模型进行评估时，同时不止使用一个指标。

实例：广告展现

用户会通过关键词进行搜索，或者在某一个页面，后台根据关键词等信息找到相关的广告，然后算法对每一个广告的点击率进行预测，并计算出预计收入进行排序，最后选择 top 广告进行展现。

在这个广告的二分类问题中，因为绝大部分人是不点击广告的，因此，负