近期在忙一个比较重要的项目, 做到机器人快速避障,正在努力学习和更新中.
深度强化学习(Deep Reinforcement Learning)
强化学习是机器学习的一个分支, 相较于机器学习经典的有监督学习, 无监督学习问题, 强化学习的最大的特点是在交互中学习(Learning from Interaction).
Agent在与环境的交互中根据获得奖励或惩罚不断的学习知识, 更加适应环境.
RL学习的范式非常类似于我们人类学习知识的过程, 也正因此, RL被视为实现通用AI重要途径.
强化学习具体做什么
1. states and observations,
状态和数据观测.
2. action spaces,
执行空间.
3. policies,
执行策略(方法),
Deterministic Policies:
Stochastic Policies: categorical policies(离散执行空间), diagonal Gaussian policies(连续执行空间).
4. trajectories,
一系列状态和执行空间的组合.
5. different formulations of return,
不同的返回函数公式
6. the RL optimization problem,
RL的优化策略
7. and value functions.
优化变量函数
强化学习方法简略图
"名词解释"
奖励: 单次执行行为的好坏评价标量;
价值函数: 评价一段时间内行为"好坏", 用来预测未来积累的奖励预测;
环境(Model): 用来模拟环境的行为;
智能体(Agent):
"智能体分类1"
基于模型的强化学习.
模型无关的强化学习.
"智能体分类2"
基于价值函数, 无策略
基于策略函数, 无价值
基于Actor-Critic(策略+价值函数).
" 概念扫盲和知识点梳理"
"1. 基本概念"
强化学习:通过从交互中学习来实现目标的计算方法。
交互过程:在每一步t,智能体:获得观察O_t,获得奖励R_t,执行行动A_t,环境:获得行动A_t,给出观察O_{t+1},给出奖励R_{t+1}
历史(History): 是观察、奖励、行动的序列,即一直到时间t为止的所有可观测变量。
状态(State): 是一种用于确定接下来会发生的事情(A,R,O),状态是关于历史的函数。
状态通常是整个环境的, 观察可以理解为是状态的一部分,仅仅是agent可以观察到的那一部分。
策略(Policy): 是学习智能体在特定时间的行为方式。是从状态到行为的映射。
确定性策略: 函数表示,随机策略:条件概率表示
奖励(Reward): 立即感知到什么是好的,一般情况下就是一个标量
价值函数(Value function): 长期而言什么是好的
价值函数是对于未来累计奖励的预测,用于评估给定策略下,状态的好坏
环境的模型(Model):用于模拟环境的行为,预测下一个状态,预测下一个立即奖励(reward)
"2. 强化学习智能体的分类"
model-based RL:模型可以被环境所知道,agent可以直接利用模型执行下一步的动作,而无需与实际环境进行交互学习。
比如:围棋、迷宫
model_free RL:真正意义上的强化学习,环境是黑箱
比如Atari游戏,需要大量的采样
基于价值:没有策略(隐含)、价值函数
基于策略:策略、没有价值函数
Actor-Critic:策略、价值函数
[2] A2C / A3C (Asynchronous Advantage Actor-Critic): Mnih et al, 2016
[3] PPO (Proximal Policy Optimization): Schulman et al, 2017
[4] TRPO (Trust Region Policy Optimization): Schulman et al, 2015
[5] DDPG DDPG (Deep Deterministic Policy Gradient): Lillicrap et al, 2015
[6] TD3 (Twin Delayed DDPG): Fujimoto et al, 2018
[7] SAC (Soft Actor-Critic): Haarnoja et al, 2018
[8] DQN (Deep Q-Networks): Mnih et al, 2013
[9] C51 (Categorical 51-Atom DQN): Bellemare et al, 2017
[10] QR-DQN (Quantile Regression DQN): Dabney et al, 2017
[11] HER (Hindsight Experience Replay): Andrychowicz et al, 2017
[12] World Models : Ha and Schmidhuber, 2018
[13] I2A (Imagination-Augmented Agents): Weber et al, 2017
[14] MBMF (Model-Based RL with Model-Free Fine-Tuning): Nagabandi et al, 2017
[15] MBVE (Model-Based Value Expansion): Feinberg et al, 2018
[16] AlphaZero AlphaZero: Silver et al, 2017