《动手学深度学习》读书笔记：第1章 深度学习简介
目录
第1章 深度学习简介
1.1 起源
1.2 发展
1.3 成功案例
1.4 特点
小结
第1章 深度学习简介
通俗来说，机器学习是一门讨论各式各样的适用于不同问题的函数形式，以及如何使用数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的一类函数，它们的形式通常为多层神经网络。近年来，仰仗着大数据集和强大的硬件，深度学习已逐渐成为处理图像、文本语料和声音信号等复杂高维数据的主要方法。
1.1 起源
虽然深度学习似乎是最近几年刚兴起的名词，但它所基于的神经网络模型和用数据编程的核心思想已经被研究了数百年。自古以来，人类就一直渴望能从数据中分析出预知未来的窍门。实际上，数据分析正是大部分自然科学的本质，我们希望从日常的观测中提取规则，并找寻不确定性。
早在17世纪，雅各比·伯努利提出了描述只有两种结果的随机过程的伯努利分布。
即使是在中世纪，数学家也热衷于利用统计学来做出估计。
现代统计学在20世纪的真正腾飞要归功于数据的收集和发布。
克劳德·香农的信息论以及阿兰·图灵的计算理论也对机器学习又深远影响。
另一个对深度学习有重大影响的领域是神经科学与心理学。赫布理论是感知机学习算法的原型，并成为支撑今日深度学习的随机梯度下降算法的基石：强化合意的行为、惩罚不合意的行为，最终获得优良的神经网络参数。
来源于生物学的灵感是神经网络名字的由来。随着时间流逝，神经网络的生物学解释被稀释，但仍保留了这个名字。时至今日，绝大多数神经网络都包含以下的核心原则。
1.交替使用线性处理单元与非线性处理单元，它们经常被称为“层”。
2.使用链式法则（即反向传播）来更新网络的参数。
1.2 发展
近10年来深度学习长足发展的原因：
1.优秀的容量控制方法。
2.注意力机制解决了另一个困扰统计学超过一个世纪的问题：如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度。
3.记忆网络和神经编码器-解释器这样的多阶设计使得针对推理过程的迭代建模方法变得可能。
4.另一个重大发展是生成对抗网络的发明。
5.许多情况下单块GPU已经不能满足在大型数据集上进行训练的需要。
6.并行计算的能力也为至少在可以采用模拟情况下的强化学习的发展贡献了力量。
7.深度学习框架也在传播深度学习思想的过程中扮演了重要角色。
1.3 成功案例
机器学习已经渗透到了我们工作和生活的方方面面。
机器人学、物流管理、计算生物学、粒子物理学和天文学近年来的发展也有一部分要归功于深度学习。可以看到，深度学习已经逐渐演变成一个工程师和科学家皆可使用的普适工具。
1.4 特点
机器学习研究如何使计算机系统利用经验改善性能，它是人工智能领域的分支，也是实现人工智能的一种手段。在机器学习的众多研究方向中，表征学习关注如何自动找出表述数据的合适方式，以便更好地将输入变换为正确的输出，深度学习是具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。
深度学习可以逐级表示越来越抽象的概念或模式。以图像为例，它的输入是一堆原始像素值。深度学习模型中，图像可以逐级表示为特定位置和角度的边缘、由边缘组合得出的花纹、由多种花纹进一步汇合得到的特定部位的模式等。最终，模型能够较容易根据更高级的表示完成给定的任务，如识别图像中的物体。作为表征学习的一种，深度学习将自动找出每一级表示数据的合适方式。
因此，深度学习的一个外在特点是端到端的训练。也就是说，并不是单独调试的部分拼凑起来组成一个系统，而是将整个系统组建好之后一起训练。
除端到端的训练之外，我们也正在经历从含参数统计模型转向完全无参数的模型。当数据非常稀缺时，我们需要通过简化对现实的假设来得到实用的模型。当数据充足时，我们就可以用能更好地拟合现实的无参数模型来替代这些含参数模型。这也使我们可以得到更精确的模型，尽管需要牺牲一些可解释性。
相对于其他经典的机器学习方法而言，深度学习的不同在于对非最优解的包容、非凸非线性优化的使用，以及勇于尝试没有被证明过的方法。这种在处理统计问题上的新经验主义吸引了大量人才的涌入，使得大量实际问题有了更好的解决方案。
小结
1.机器学习研究如何使计算机系统利用经验改善性能。它是人工智能领域的分支，也是实现人工智能的一种手段。
2.作为机器学习的一类，表征学习关注如何自动找出表示数据的合适方式。
3.深度学习是具有多级表示的表征学习方法，它可以逐级表示越来越抽象的概念或模式。
4.深度学习所基于的神经网络模型和用数据编程的核心思想实际上已经被研究了数百年。
5.深度学习已经逐渐演变成一个工程师和科学家皆可使用的普适工具。