《深度学习》读书笔记

p7

由于并不总是清楚计算图的深度或概率模型图的深度哪一个是最有意义的，并
且由于不同的人选择不同的最小元素集来构建相应的图，因此就像计算机程序的长
度不存在单一的正确值一样，架构的深度也不存在单一的正确值。另外，也不存在
模型多么深才能被修饰为 ‘‘深’’ 的共识。但相比传统机器学习，深度学习研究的模型
涉及更多学到功能或学到概念的组合，这点毋庸置疑。

总之，这本书的主题——深度学习是通向人工智能的途径之一。具体来说，它
是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。我们
坚信机器学习可以构建出在复杂实际环境下运行的 AI 系统，并且是唯一切实可行的
方法。深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千
世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽
象概括到高级抽象表示）。

p14

神经科学已经给了我们依靠单一深度学习算法解决许多不同任务的理由。神经
学家们发现，如果将雪貂的大脑重新连接，使视觉信号传送到听觉区域，它们可以学
会用大脑的听觉处理区域去 ‘‘看” (Von Melchner et al., 2000)。这暗示着大多数哺乳
动物的大脑能够使用单一的算法就可以解决其大脑可以解决的大部分不同任务。在
这个假设之前，机器学习研究是比较分散的，研究人员在不同的社群研究自然语言
处理、计算机视觉、运动规划和语音识别。如今，这些应用社群仍然是独立的，但是
对于深度学习研究团体来说，同时研究许多或甚至所有这些应用领域是很常见的。

p24

深度学习也为其他科学做出了贡献。用于对象识别的现代卷积网络为神经科
学家们提供了可以研究的视觉处理模型 (DiCarlo, 2013)。深度学习也为处理海量
数据以及在科学领域作出有效的预测提供了非常有用的工具。它已成功地用于预
测分子如何相互作用从而帮助制药公司设计新的药物 (Dahl et al., 2014)，搜索亚
原子粒子 (Baldi et al., 2014)，以及自动解析用于构建人脑三维图的显微镜图像
(Knowles-Barley et al., 2014) 等。我们期待深度学习未来能够出现在越来越多的科
学领域中。
总之，深度学习是机器学习的一种方法。在过去几十年的发展中，它大量借鉴
了我们关于人脑、统计学和应用数学的知识。近年来，得益于更强大的计算机、更
大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的
发展。未来几年充满了进一步提高深度学习并将它带到新领域的挑战和机遇