sheng的学习笔记-【中】【吴恩达课后测验】Course 3 - 结构化机器学习项目 - 第一周测验

课程3_第1周_测验题

目录:目录

要解决的问题

① 这个例子来源于实际项目,但是为了保护机密性,我们会对细节进行保护。

② 现在你是和平之城的著名研究员,和平之城的人有一个共同的特点:他们害怕鸟类。

③ 为了保护他们,你必须设计一个算法,以检测飞越和平之城的任何鸟类,同时警告人们有鸟类飞过。市议会为你提供了10,000,000张图片的数据集,这些都是从城市的安全摄像头拍摄到的。它们被命名为:

  1. y = 0:图片中没有鸟类
  2. y = 1:图片中有鸟类

④ 你的目标是设计一个算法,能够对和平之城安全摄像头拍摄的新图像进行分类。

⑤ 有很多决定要做:

  1. 评估指标是什么?
  2. 你如何将你的数据分割为训练/验证/测试集?

⑥ 市议会告诉你,他们想要一个算法:

  1. 拥有较高的准确度
  2. 快速运行,只需要很短的时间来分类一个新的图像。
  3. 可以适应小内存的设备,这样它就可以运行在一个小的处理器上,它将用于城市的安全摄像头上。

第一题

1.有三个评估指标使您很难在两种不同的算法之间进行快速选择,并且会降低您的团队迭代的速度。

A. 【  】对

B. 【  】不对

答案:

A.【 √ 】对

第二题

① 经过进一步讨论,市议会缩小了它的标准:

  1. “我们需要一种算法,可以让我们尽可能精确的知道一只鸟正飞过和平之城。”
  2. “我们希望经过训练的模型对新图像进行分类不会超过10秒。”
  3. “我们的模型要适应10MB的内存的设备。”

2.如果你有以下三个模型,你会选择哪一个?

A. 【  】测试准确度:97%;运行时间:1 sec;内存大小:3MB

B. 【  】测试准确度:99%;运行时间:13 sec;内存大小:9MB

C. 【  】测试准确度:97%;运行时间:3 sec;内存大小:2MB

D. 【  】测试准确度:98%;运行时间:9 sec;内存大小:9MB

答案:

D.【 √ 】测试准确度:98%;运行时间:9 sec;内存大小:9MB

第三题

3.根据城市的要求,您认为以下哪一项是正确的?

A. 【  】准确度是一个优化指标;运行时间和内存大小是满意指标。

B. 【  】准确度是一个满意指标;运行时间和内存大小是一个优化指标。

C. 【  】准确性、运行时间和内存大小都是优化指标,因为您希望在所有这三方面都做得很好。

D. 【  】准确性、运行时间和内存大小都是满意指标,因为您必须在三项方面做得足够好才能使系统可以被接受。

答案:

A.【 √ 】准确度是一个优化指标;运行时间和内存大小是满意指标。

第四题

4.在实现你的算法之前,你需要将你的数据分割成训练/验证/测试集,你认为哪一个是最好的选择?

A. 【  】训练集:3,333,334;验证集:3,333,333;测试集:3,333,333

B. 【  】训练集:9,500,000;验证集:250,000;测试集:250,000

C. 【  】训练集:6,000,000;验证集:3,000,000;测试集:1,000,000

D. 【  】训练集:6,000,000;验证集:1,000,000;测试集:3,000,000

答案:

B.【 √ 】训练集:9,500,000;验证集:250,000;测试集:250,000

第五题

5.在设置了训练/开发/测试集之后,市议会再次给你了1,000,000张图片,称为“公民数据”。 显然,和平之城的公民非常害怕鸟类,他们自愿为天空拍照并贴上标签,从而为这些额外的1,000,000张图像贡献力量。 这些图像与市议会最初给您的图像分布不同,但您认为它可以帮助您的算法。

① 你不应该将公民数据添加到训练集中,因为这会导致训练/验证/测试集分布变得不同,从而损害验证集和测试集性能

A. 【  】对

B. 【  】不对

答案:

B.【 √ 】不对

第六题

6.市议会的一名成员对机器学习知之甚少,他认为应该将1,000,000个公民的数据图像添加到测试集中,你反对的原因是:

A. 【  】这会导致验证集和测试集分布变得不同。这是一个很糟糕的主意,因为这会达不到你想要的效果

B. 【  】公民的数据图像与其他数据没有一致的x->y映射(类似于纽约/底特律的住房价格例子)

C. 【  】一个更大的测试集将减慢迭代速度,因为测试集上评估模型会有计算开销

D. 【  】测试集不再反映您最关心的数据(安全摄像头)的分布

答案:

A.【 √ 】这会导致验证集和测试集分布变得不同。这是一个很糟糕的主意,因为这会达不到你想要的效果

D.【 √ 】测试集不再反映您最关心的数据(安全摄像头)的分布

第七题

7.你训练了一个系统,其误差度如下(误差度 = 100% - 准确度):

  1. 训练集误差:4.0%
  2. 验证集误差:4.5%

① 这表明,提高性能的一个很好的途径是训练一个更大的网络,以降低4%的训练误差。你同意吗?

A. 【  】是的,因为有4%的训练误差表明你有很高的偏差。

B. 【  】是的,因为这表明你的模型的偏差高于方差。

C. 【  】不同意,因为方差高于偏差。

D. 【  】不同意,因为没有足够的信息,这什么也说明不了。

答案:

D.【 √ 】不同意,因为没有足够的信息,这什么也说明不了。

第八题

8.你让一些人对数据集进行标记,以便找出人们对它的识别度。你发现了准确度如下:

  1. 鸟类专家1 错误率:0.3%
  2. 鸟类专家2 错误率:0.5%
  3. 普通人1 (不是专家) 错误率:1.0%
  4. 普通人2 (不是专家) 错误率:1.2%

① 如果您的目标是将“人类表现”作为贝叶斯错误的基准线(或估计),那么您如何定义“人类表现”?

A. 【  】0.0% (因为不可能做得比这更好)

B. 【  】0.3% (专家1的错误率)

C. 【  】0.4% (0.3 到 0.5 之间)

D. 【  】0.75% (以上所有四个数字的平均值)

答案:

B.【 √ 】0.3% (专家1的错误率)

第九题

9.您同意以下哪项陈述?

A. 【  】学习算法的性能可以优于人类表现,但它永远不会优于贝叶斯错误的基准线。

B. 【  】学习算法的性能不可能优于人类表现,但它可以优于贝叶斯错误的基准线。

C. 【  】学习算法的性能不可能优于人类表现,也不可能优于贝叶斯错误的基准线。

D. 【  】学习算法的性能可以优于人类表现,也可以优于贝叶斯错误的基准线。

答案:

A.【 √ 】学习算法的性能可以优于人类表现,但它永远不会优于贝叶斯错误的基准线。

第十题

10.你发现一组鸟类学家辩论和讨论图像,可以得到一个更好的0.1%的性能,所以你将其定义为“人类表现”。在对算法进行深入研究之后,最终得出以下结论:

  1. 人类表现 0.1%
  2. 训练集误差 2.0%
  3. 验证集误差 2.1%

① 根据你的资料,以下四个选项中哪两个尝试起来是最有希望的?(两个选项)

A. 【  】尝试增加正则化。

B. 【  】获得更大的训练集以减少差异。

C. 【  】尝试减少正则化。

D. 【  】训练一个更大的模型,试图在训练集上做得更好。

答案:

C.【 √ 】尝试减少正则化。

D.【 √ 】训练一个更大的模型,试图在训练集上做得更好。

第十一题

11.你在测试集上评估你的模型,并找到以下内容:

  1. 人类表现 0.1%
  2. 训练集误差 2.0%
  3. 验证集误差 2.1%
  4. 测试集误差 7.0%

① 这意味着什么?(两个最佳选项)

A. 【  】你没有拟合验证集

B. 【  】你应该尝试获得更大的开发集

C. 【  】你应该得到一个更大的测试集

D. 【  】你对验证集过拟合了

答案:

B.【 √ 】你应该尝试获得更大的开发集

D.【 √ 】你对验证集过拟合了

第十二题

12.在一年后,你完成了这个项目,你终于实现了:

  1. 人类表现 0.10%
  2. 训练集误差 0.05%
  3. 验证集误差 0.05%

① 你能得出什么结论? (检查所有选项。)

A. 【  】现在很难衡量可避免偏差,因此今后的进展将会放缓。

B. 【  】统计异常(统计噪声的结果),因为它不可能超过人类表现。

C. 【  】有0.09%的进步空间,你应该很快就能够将剩余的差距缩小到0%

D. 【  】如果测试集足够大,使得这0.05%的误差估计是准确的,这意味着贝叶斯误差是小于等于0.05的。

答案:

A.【 √ 】现在很难衡量可避免偏差,因此今后的进展将会放缓。

D.【 √ 】如果测试集足够大,使得这0.05%的误差估计是准确的,这意味着贝叶斯误差是小于等于0.05的。

第十三题

13.事实证明,和平之城也雇佣了你的竞争对手来设计一个系统。您的系统和竞争对手都被提供了相同的运行时间和内存大小的系统,您的系统有更高的准确性。然而,当你和你的竞争对手的系统进行测试时,和平之城实际上更喜欢竞争对手的系统,因为即使你的整体准确率更高,你也会有更多的假阴性结果(当鸟在空中时没有发出警报)。你该怎么办?

A. 【  】查看开发过程中开发的所有模型,找出错误率最低的模型。

B. 【  】要求你的团队在开发过程中同时考虑准确性和假阴性率。

C. 【  】重新思考此任务的指标,并要求您的团队调整到新指标。

D. 【  】选择假阴性率作为新指标,并使用这个新指标来进一步发展。

答案:

C.【 √ 】重新思考此任务的指标,并要求您的团队调整到新指标。

第十四题

14.你轻易击败了你的竞争对手,你的系统现在被部署在和平之城中,并且保护公民免受鸟类攻击! 但在过去几个月中,一种新的鸟类已经慢慢迁移到该地区,因此你的系统的性能会逐渐下降,因为您的系统正在测试一种新类型的数据。

① 你只有1000张新鸟类的图像,在未来的3个月里,城市希望你能更新为更好的系统。你应该先做哪一个?

A. 【  】使用所拥有的数据来定义新的评估指标(使用新的验证/测试集),同时考虑到新物种,并以此来推动团队的进一步发展。

B. 【  】把1000张图片放进训练集,以便让系统更好地对这些鸟类进行训练。

C. 【  】尝试数据增强/数据合成,以获得更多的新鸟的图像。

D. 【  】将1,000幅图像添加到您的数据集中,并重新组合成一个新的训练/验证/测试集

答案:

A.【 √ 】使用所拥有的数据来定义新的评估指标(使用新的验证/测试集),同时考虑到新物种,并以此来推动团队的进一步发展。

第十五题

15.市议会认为在城市里养更多的猫会有助于吓跑鸟类,他们对你在鸟类探测器上的工作感到非常满意,他们也雇佣你来设计一个猫探测器。由于有多年的猫探测器的工作经验,你有一个巨大的数据集,你有100,000,000猫的图像,训练这个数据需要大约两个星期。你同意哪些说法?(选出所有正确项)

A. 【  】需要两周的时间来训练将会限制你迭代的速度。

B. 【  】购买速度更快的计算机可以加速团队的迭代速度,从而提高团队的生产力。

C. 【  】如果10,000,000个样本就足以建立一个足够好的猫探测器,你最好用10,000,00个样本训练,从而使您可以快速运行实验的速度提高约10倍,即使每个模型表现差一点因为它的训练数据较少。

D. 【  】建立了一个效果比较好的鸟类检测器后,您应该能够采用相同的模型和超参数,并将其应用于猫数据集,因此无需迭代。

答案:

A.【 √ 】需要两周的时间来训练将会限制你迭代的速度。

B.【 √ 】购买速度更快的计算机可以加速团队的迭代速度,从而提高团队的生产力。

C.【 √ 】如果10,000,000个样本就足以建立一个足够好的猫探测器,你最好用10,000,00个样本训练,从而使您可以快速运行实验的速度提高约10倍,即使每个模型表现差一点因为它的训练数据较少。

你可能感兴趣的:(吴恩达作业-深度学习,深度学习)