图灵奖得主John Hopcroft推荐的这本强化学习入门书

动手学强化学习

John Hopcroft

1986年ACM图灵奖得主、上海交通大学校长特别顾问

本书的一个重要特点是实现了理论与代码的有机结合，学生在学习强化学习的主要概念时，可以方便地使用这些代码。本书得到了上海交通大学学生的广泛好评。

名家作品：

• 上海交通大学ACM班创始人俞勇教授、博士生导师张伟楠副教授、APEX实验室博士生沈键编写；
• 理论扎实：基于上交大ACM班的人工智能专业课程构建强化学习的学习体系；
• 配套资源丰富：在线代码运行环境+在线视频课程+在线讨论区+在线习题+配套课件；
• 多位业内大咖力荐：字节跳动人工智能实验室总监李航、1986年图灵奖得主John Hopcroft、北京大学学科学学院统计学教授张志华、伦敦大学学院计算机科学系讲席教授汪军、亚马逊资深科学家、《动手学深度学习》作者李沐。

本书每一章都由一个 Python Notebook 组成，Notebook 中包括强化学习相关概念的定义、 理论分析、算法过程和可运行代码。读者可以根据自己的需求自行选择感兴趣的部分阅读。例 如，只想学习各个算法的整体思想而不关注具体实现细节的读者，可以只阅读除代码以外的文 字部分； 已经了解算法原理，只想动手进行代码实践的读者，可以只关注代码的具体实现部分。

本书面向的读者主要是对强化学习感兴趣的高校学生 （无论是本科生、研究生还是博士生）、 企业研究员及工程师。在阅读本书之前，读者需要掌握一些基本的数学概念和机器学习的基础 知识（如概率论和神经网络等）。此外，本书还可以作为高校强化学习课程的教材。

本书共包含强化学习基础、强化学习进阶和强化学习前沿三大部分。由于篇幅原因，我们 只对这些前沿的强化学习研究进行较为简单的介绍，其中每个方向扩展开来都可以单独整理成 一本专著。在本书的阅读和学习过程中，若读者对某一方向比较感兴趣，可以通过阅读相关论 文进行更加全面、深入的了解。

本书提供的代码都是基于 Python 3 编写的，因此读者需要具有一定的Python 编程基础。 此外，考虑到目前 PyTorch 机器学习框架比较受欢迎，本书中的代码在涉及自动求导时皆使 用 PyTorch 框架实现。每一份示例代码中都包含可以由读者自行设置的变量，方便读者进行 修改并观察相应的结果，从而加深对算法的理解。在代码的编写过程中，我们把一些重复的 功能性代码整理在 rl_utils.py 文件中（可以在仓库
https://github.com/boyu-ai/Hands-on-RL 找 到），以方便各个 Notebook 调用。书中会尽可能对一些关键代码进行注释，但我们也深知无 法将每行代码都解释清楚，还望读者在代码学习过程中多加思考，甚至翻阅一些其他资料， 以做到完全理解。

学习路径兼顾自学与教学需求

自学

教学

提供丰富配套资源

知识系统，逐层递进

在线查看并运行代码（基于Python 3和PyTorch框架）

课后练习巩固所学知识

作者团队在线答疑

配套课件方便教师授课

业内人士推荐

本书系统地介绍了强化学习的基本技术，能够帮助读者学习强化学习的基本概念及其代表性方法，并涉及模仿学习、多智能体强化学习等前沿技术。作者搭建了与本书内容配套的在线实践学习平台，读者能够在线运行代码并与同行交流、讨论，加强对强化学习技术的理解和掌握。本书凝结了强化学习领域的知识精华，是人工智能算法工程师推荐的好书。——李航 字节跳动人工智能实验室总监

强化学习对初学者来说有较高的学习门槛，容易让人却步。本书给出了各个算法的可执行代码，帮助读者快速上手尝试，拉近了讲授内容与读者的距离，是入门强化学习的参考教材。——俞扬 南京大学人工智能学院教授

本书源自上海交通大学ACM班的人工智能专业课程。上海交通大学ACM班创始人俞勇教授及其团队将其在人工智能领域多年深耕的成果汇集成书，并精心开发了满足年轻人才学习需求的多种学习资源，将理论知识、在线代码、项目实训有机融合，能够帮助读者从零搭建起强化学习的理论与工程体系。本书真正从社会需求出发，为人工智能领域相关专业的人才培养提供了非常有价值的参考，也为高校学生和行业从业人员深入研究、创新强化学习技术指明了路径。

——张志华 北京大学数学科学学院统计学教授

在几次举办RLChina强化学习暑期夏令营的过程中，我感受到中国学生对强化学习这一学科的学习热情十分高涨，每次活动的参与人数都过万。但是，目前中国在强化学习领域的专业教师资源紧缺，导致学生对强化学习理论知识的掌握不够到位；强化学习实验室资源不足，学生在实验过程中容易遇到各种难以解决的问题，但缺少有效提升实验效率的标程或沟通渠道。本书可以让学生在理论学习与代码实践之间无缝衔接，这很好地解决了学习和研究强化学习的痛点。在此将本书推荐给每一位学习和研究强化学习的学生和教师。——汪军 伦敦大学学院计算机科学系讲席教授

强化学习是近年来的热门方向，突破性方法和亮眼应用频出。本书将理论与实践相结合，既讲解了算法，又展示了代码实现，是一本不可多得的强化学习教科书，强烈推荐！
——李沐 亚马逊资深科学家

详细目录

作者简介