【ZJU-Machine Learning】强化学习

强化学习与监督学习的区别：

（1）训练数据中没有标签，只有奖励函数（Reward Function）。
（2）训练数据不是现成给定，而是由行为（Action）获得。
（3）现在的行为（Action）不仅影响后续训练数据的获得，也影响奖励函数（Reward Function）的取值。
（4）训练的目的是构建一个“状态->行为”的函数，其中状态（State）描述了目前内部和外部的环境，在此情况下，要使一个智能体（Agent）在某个特定的状态下，通过这个函数，决定此时应该采取的行为。希望采取这些行为后，最终获得最大的奖励函数值。

而监督学习是通过训练得到一个从数据到标签的映射。

一些定义

一些假设

Markov decision Process (MDP)

待优化目标函数

增强学习中的待优化目标函数是累积奖励，即一段时间内的奖励函数加权平均值：

在这里，GAMMA是一个衰减项。

Q-Learning

增强学习中已经知道的的函数是：

需要学习的函数是：

根据一个决策机制（Policy），我们可以获得一条路径：

定义1：估值函数（Value Function）是衡量某个状态最终能获得多少累积奖励的函数:

定义2：Q函数是衡量某个状态下采取某个行为后，最终能获得多少累积奖励的函数：

Q与V的关系：

递归：根据s产生a有个概率，根据s,a产生s’还有个概率，双层概率求和，然后，就建立了s的估值函数和s’估值函数的关系

求最佳策略的迭代算法：

这一算法的劣势：

对于状态数和行为数很多时，这种做法不现实。

例如：对一个ATARI游戏，状态数是相邻几帧所有像素的取值组合，这是一个天文数字！
ACTION数量从6到20不等

Q-learning的优化——Deep Q-Network (DQN)

定义

则有 Bellman Equation:

实例

打飞机的Atari游戏的DQN设置

一个更难的Atari游戏的DQN设置：

DQN算法流程

Q-learning的劣势：

（1）在一些应用中，状态数或行为数很多时，会使Q函数非常复杂，难以收敛。例如图像方面的应用，状态数是(像素值取值范围数)^(像素个数)。这样的方法，对图像和任务没有理解，单纯通过大数据来获得收敛。

（2）很多程序，如下棋程序等，REWARD是最后获得（输或赢），不需要对每一个中间步骤都计算REWARD.

Policy gradient

Actor-Critic算法：

总结

（1）目前强化学习的发展状况：在一些特定的任务上达到人的水平或胜过人，但在一些相对复杂的任务上，例如自动驾驶等，和人存在差距。

（2）和真人的差距，可能不完全归咎于算法，传感器、机械的物理限制等，也是决定性因素。

（3）机器和人的另一差距是：人有一些基本的概念，依据这些概念，人能只需要很少的训练就能学会很多，但机器只有通过大规模数据，才能学会。

（4）但是，机器速度快，机器永不疲倦，只要有源源不断的数据，在特定的任务上，机器做得比人好，是可以期待的。