异步优势演员-评论家算法 A3C

 

---

异步优势演员-评论家算法 A3C

A3C 在 A2C 基础上，增加了并行训练（异步）来提高效率。

网络结构

A2C：

A3C：

在这两张图之间，第 2 张图增加了以下几个关键部分：

1. 全局网络（Global Network）：这表明有一个中央网络（可能在服务器上运行），它维护着策略（Policy π(s)）和价值（V(s)）函数。这是模型的核心部分，其训练了共享的策略和价值函数。

2. 多个工作者（Workers）：图中展示了多个工作者（Worker 1, Worker 2, …, Worker n），每个工作者都有自己的网络副本。这些工作者可以并行地在不同的环境实例中探索和学习。

3. 并行环境：与每个工作者相连的是不同的环境实例（Environment 1, Environment 2, …, Environment n）。这意味着每个工作者都可以在自己的环境副本中独立地进行学习，这增加了样本的多样性并加快了训练过程。

4. 异步更新：工作者在自己的环境中收集经验后，会异步地将这些经验反馈给全局网络。这通常涉及到梯度或参数更新。

第一张图是一个单一智能体的演员-评论家架构，没有显示出并行处理或异步更新的特征。

第二张图在第一张图的基础上增加了并行化和分布式计算的概念，这是现代强化学习算法中用于加速训练和提高稳定性的常见技术。

A3C 核心是，通过多个智能体（或称为“工作者”）在不同的环境副本中同时运行来加速学习过程。

并行步骤

A3C 算法的流程：

1. 初始化全局网络：

   • 首先，创建一个全局网络，它有两个主要部分：演员（Actor）和评论家（Critic）。
   • 演员部分负责输出动作的概率分布。
   • 评论家部分负责评估采取某个动作的期望回报。

2. 启动多个工作者：

   • 同时启动多个工作者（智能体），每个工作者都有自己的网络副本，这些副本的初始权重来自全局网络。
   • 每个工作者都在自己的环境副本中运行，这些环境互不干扰。

3. 工作者独立探索：

   • 每个工作者根据自己的网络副本和当前状态来选择动作，并观察结果和奖励。
   • 工作者会继续这个过程，直到达到一定的时间步数或者终止条件（例如，完成任务或任务失败）。

4. 计算梯度并更新全局网络：

   • 工作者使用其经验（状态、动作、奖励等）来计算梯度。这些梯度用于改进其网络副本。
   • 然后，这些梯度被发送到全局网络，并用于更新全局网络的权重。

5. 同步工作者网络：

   • 更新全局网络后，工作者将全局网络的新权重复制到自己的网络副本中。
   • 这样，所有工作者都可以从全局网络学到的新知识中受益。

6. 重复探索和学习过程：

   • 工作者再次开始在其环境中探索，并重复上述过程。
   • 这个过程会不断重复，工作者不断探索、学习并更新全局网络。

7. 终止条件：

   • 当全局网络达到一定的性能标准，或者经过足够多的更新周期后，算法可以停止。
   • 此时，全局网络已经足够好，可以用来做决策或进一步的任务。

A3C 算法的关键优势在于并行性和异步更新。

多个工作者同时探索不同的策略和环境，可以更快地覆盖更广泛的状态空间，而不必等待其他工作者完成。

异步更新意味着全局网络不断地接收来自多个源的梯度信息，这可以导致更快的学习和更稳定的收敛。