深度学习18-C置信域：PPO、TRPO、ACKTR及SA

### C置信域：PPO、TRPO、ACKTR及SA

▪  近端策略优化（PPO）。
▪  置信域策略优化（TRPO）。
▪  使用了Kronecker-factored trust region（ACKTR）的A2C。

 TRPO是由伯克利研究人员于2015年在John Schulman等人的论文“Trust Region Policy Optimization”(arXiv: 1502.05477)中提出的。该论文是为了提高随机策略梯度优化的稳定性和一致性，并且在各种控制任务上均显示出良好的效果。
不过，论文和方法具有相当复杂的数学知识背景，所以理解该方法的细节比较困难。实现也很复杂，它使用了共轭梯度方法来有效解决限制优化问题

我们将比较的第三种方法ACKTR使用不同的方法来解决SGD的稳定性问题。Wu Yuhuai等人在2017年发表的论文“Scalable Trust- Region Method for Deep Reinforcement Learning Using Kronecker-Factored Approximation”（arXiv：1708.05144）中，作者将二阶优化方法和置信域方法结合在一起。
二阶方法的思想是通过采用优化函数的二阶导数（即曲率）来改进传统SGD，以提高优化过程的收敛性。让事情变得更复杂的是，二阶导数通常需要你自己构建并反转Hessian矩阵，该矩阵可能会过大，因此实际方法通常会与二阶方法比较近似，但不完全一样。这个领域的研究目前非常活跃，因为开发健壮、可扩展的优化方法对于整个机器学习领域非常重要。
二阶方法中有一个Kronecker-Factored Approximate Curvature (K-FAC)方法，该方法由James Martens和Roger Grosse在其2015年发表的论文“Optimizing Neural Networks with Kronecker-Factored Approximate Curvature”中提出。但是，这种方法的详细描述远远超出了本书的范围。

在本节中，我们将使用最先进的方法（SAC）检查环境。SAC是由一组Berkeley的研究人员提出的，并且在Tuomas Taarnoja等人于2018年发布的论文“Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning”（arXiv 1801.01290）中进行了介绍。
目前，它被认为是解决连续控制问题的最佳方法之一，其核心思想更接近于DDPG方法，而不是A2C策略梯度。SAC方法在第17章中可能已在逻辑上进行了描述。但是，在本章中，我们直接将其与PPO的性能进行比较，而PPO的性能长期以来一直被认为是连续控制问题中约定俗成的标准。

SAC训练如下所示：
▪  通过使用目标价值网络进行Bellman近似，从而使用MSE目标训练Q网络：yq(r,s')=r+γVtgt(s')（用于非终止步骤）。
▪  使用MSE目标和以下目标对V网络进行训练：，其中ã是从策略πθ(·|s)中采样得到的。
▪  策略网络πθ是通过类DDPG风格训练的，需要最大化以下目标：Q1(s,ãθ(s))-αlogπθ(ãθ(s)|s)，其中ãθ(s)是从策略πθ(·|s)中采样得到的。