机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C

Actor-Critic的集大成者:A3C

首先,我们重温下策略梯度和Q-learning算法

  • 策略梯度
    我们在梯度下降的过程中,对于reward函数的估计是极其不稳定的 G t G_t Gt=
    机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第1张图片
    G t G_t Gt是从实际环境中交互进行估计:
    机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第2张图片

  • Q- learning
    (1) 状态价值函数 V π ( S ) V^{\pi}(S) Vπ(S)
    概念:当我们使用策略π,经过状态S后,累计奖励reward的和的期望
    机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第3张图片
    (1) 状态-行为价值函数 Q π ( S , a ) Q^{\pi}(S,a) Qπ(Sa)
    概念:当我们使用策略π,经过状态S并采取动作a后,累计奖励reward的和的期望
    机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第4张图片

1. Actor-Critic

Actor-Critic 就是结合策略梯度和Q-learning 优势。
我们用Q-learning 来估计 G t G_t Gt,而不是从每一次交互中累计估算
在这里插入图片描述

机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第5张图片

2. Advantage Actor-Critic (A2C)

实际及计算Advantage函数过程中既有Q-learning 又有V状态价值估计,计算相对困难。
在这里插入图片描述

我们将Q-learning 展开:
机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第6张图片
于是我们有:
机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第7张图片

所以在计算Advantage函数中,我们只估计一个状态价值函数V就可以。
算法如下图:
机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第8张图片
梯度公式如下:
在这里插入图片描述

在A2C中,我们可以有如下的技巧:

  • 策略函 π ( S ) \pi(S) π(S)和评价函数 V π ( S ) V^{\pi}(S) Vπ(S)的前几层(预训练的参数)可以共享
    机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第9张图片

  • 使用结过entorpy作为惩罚函数,大的entropy意味着exploration

3. Asynchronous Advantage Actor-Critic (A3C)

A3C是基于A2C的基础上,基于利用“平行宇宙”的概念,模拟不同的环境,用不同的环境进行A2C,然后集中云化更新参数。其实就是利用云化,分布式计算的思路:

  1. 复制全局参数 Copy global parameters
  2. 抽取数据 Sampling some data
  3. 计算数据 Compute gradients
  4. 更新全局参数 Update global models

图片来自: https://medium.com/emergentfuture/simple-reinforcement-learning-with-tensorflow-part-8-asynchronous-actor-criticagents-a3c-c88f72a5e9f2#.68x6na7o9
机器学习与深度学习系列连载: 第三部分 强化学习(十五) 深度强化学习- Actor-Critic的集大成者:A3C_第10张图片

本专栏图片、公式很多来自David Silver主讲的UCL-Course强化学习视频公开课和台湾大学李宏毅老师的深度强化学习课程,在这里,感谢这些经典课程,向他们致敬!

你可能感兴趣的:(深度学习,神经网络,强化学习,强化学习)