强化学习论文(6): Distributed Distributional Deterministic Policy Gradients (D4PG)

分布式-分布DDPG，发表在ICLR 2018
论文链接：https://arxiv.org/pdf/1804.08617.pdf

要点总结

从两个方面对DDPG进行扩展：

• Distributed：对Actor，将单一Actor扩展至多个，并行收集experience，如算法Actor部分所示
• Distributional：对Critic，将Critic由一个函数扩展成一个分布

在DDPG中：
$\begin{array}{rl}{Q}_{\pi }(\mathbf{x},\mathbf{a})=\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^{t}r\left({\mathbf{x}}_t,{\mathbf{a}}_t\right)\right]\text{ where }& {\mathbf{x}}_0=\mathbf{x},{\mathbf{a}}_0=\mathbf{a}\\ & {\mathbf{x}}_t\sim p\left(\cdot |{\mathbf{x}}_{t-1},{\mathbf{a}}_{t-1}\right)\\ & {\mathbf{a}}_t=\pi \left({\mathbf{x}}_t\right)\end{array}$
使用参数化的Critic近似$Q(x,a)$的函数值
从分布观点来看，把收益看作是随机变量$Z_{\pi }$，则 $Q_{\pi }(\mathbf{x},\mathbf{a})=\mathbb{E}{Z}_{\pi }(\mathbf{x},\mathbf{a})$
分布贝尔曼操作可定义为：

$\left({\mathcal{T}}_{\pi }Z\right)(\mathbf{x},\mathbf{a})=r(\mathbf{x},\mathbf{a})+\gamma \mathbb{E}\left[Z\left({\mathbf{x}}^{\prime },\pi \left({\mathbf{x}}^{\prime }\right)\right)|\mathbf{x},\mathbf{a}\right]$

相应的Critic和Actor Loss为：

$L(w)={\mathbb{E}}_{\rho }\left[d\left({\mathcal{T}}_{{\pi }_{{\theta }^{\prime }}}{Z}_{w^{\prime }}(\mathbf{x},\mathbf{a}),Z_w(\mathbf{x},\mathbf{a})\right)\right]$

${\nabla }_{\theta }J(\theta )\approx {\mathbb{E}}_{\rho }\left[{\nabla }_{\theta }{\pi }_{\theta }(\mathbf{x}){\nabla }_{\mathbf{a}}{Q}_w(\mathbf{x},\mathbf{a}){|}_{\mathbf{a}={\pi }_{\theta }(\mathbf{x})}\right]={\mathbb{E}}_{\rho }\left[{\nabla }_{\theta }{\pi }_{\theta }(\mathbf{x})\mathbb{E}\left[{\nabla }_{\mathbf{a}}{Z}_w(\mathbf{x},\mathbf{a})\right]{|}_{\mathbf{a}={\pi }_{\theta }(\mathbf{x})}\right]$

实现时，把Critic的输出作为收益分布$Z_{\pi }$的参数

算法细节