《动手学深度学习——李沐》课后练习

引言

你当前正在编写的代码的哪些部分可以“学习”，即通过学习和自动确定代码中所做的设计选择来改进？你的代码是否包含启发式设计选择？

常见的机器学习，自动优化算法可以通过学习来进行改进。
首先说明启发式设计选择，在平时的代码中还没有包含这种设计

• 启发式设计选择：启发式设计选择是指在缺乏明确指导或完整信息的情况下，基于经验、直觉和规则-of-thumb（经验法则）来进行设计决策的过程。它是一种以启发式方式解决问题的方法，通过试验、迭代和专家知识来选择最佳的设计方案。

启发式设计的另一面可以是理性设计。

• 理性设计是一种基于详尽的分析、数据和优化算法的设计方法。与启发式设计不同，理性设计更加系统化和正式，它侧重于客观性、可重复性和可预测性。

你遇到的哪些问题有许多解决它们的样本，但没有具体的自动化方法？这些可能是使用深度学习的主要候选者。

生活中有很多常见的场景：

• 闸机的人脸识别
• 虚假信息识别与分类
• 语音识别和语音生成等

如果把人工智能的发展看作一场新的工业革命，那么算法和数据之间的关系是什么？它类似于蒸汽机和煤吗？根本区别是什么？

更好的数据，更优秀的算法，能够产生更加有效的模型。从这个角度来看，更优质的煤，更精巧的蒸汽机，确实也能够获得更高的动力。算法和数据是训练模型的必不可少的要素。

模型的规模达到一定程度，会表现出智能的行为。大模型的涌现能力（Emergent Capability）是指大规模语言模型在训练和生成过程中，展现出超出预期的能力和行为。它可以回答各种问题，提供广泛的知识和背景信息，即使这些信息在训练数据中并没有直接出现过。
涌现能力可能不是直接通过训练数据教导的，而是通过对大量数据的学习和模式识别而产生的。
正是因为如此，智能的有无决定了蒸汽机和人工智能是区别的。

你还可以在哪里应用端到端的训练方法，比如 图1.1.2 、物理、工程和计量经济学？