capstone-report疑问：Benchmark和Metrics的区别

（一）

看这个【开题报告模板】中的 Benchmark Model 和 Evaluation Metrics
https://github.com/nd009/capstone/blob/master/capstone_proposal_template.md

以及完整的【项目报告模板】
https://github.com/nd009/capstone/blob/master/capstone_report_template.md

（二）

然后对比这个范例报告（文本分类），搜索 Metrics 和 Benchmark 即可
http://cn-static.udacity.com/mlnd/Capstone_Poject_Sample01.pdf

如果我没理解错，这份报告中：

• metrics 选择的是「精确度」和「时间」
• benchmark 选择的是斯坦福的结果，在此基础上限定了「偏差」和「方差」

再看这个范例报告（图像识别）：看 1.3评价指标 和 2.3基准指标
https://github.com/nd009/capstone/blob/master/report-example-1.pdf

如果我没理解错，这份报告中：

• metrics 是给了指标
• benchmark 则给出了几个历史实现及对应的 metrics 结果

（三）

所以 benchmark 和 metrics 到底分别是要写什么，究竟是（1）还是（2）还是（3）：

（1）

• 这两部分的内容都分别指定了几个指标，而 Metrics 仅指定了几个恰当的指标，并不再考虑更多；
• Benchmark 除了指定部分指标外，更重要的是找到其数据集、实现、评估方法等与我项目中的对应项具备可比性的模型（或模型计算结果？）
• 若两部分中都要选定一些指标，那么把哪些指标放在 Benchmark 中，哪些放在 Metrics 中？

（2）

• 仅仅由 metrics 点出指标
• Benchmark 只要说明有哪些可比较的历史实现以及历史实现的结果

（3）

上述两个想法都不对……