强化学习—— Dueling Network

1、优势函数（Advantage Function）

1.1 概念定义

• 折扣回报：$$U_t=r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+...$$
• 动作价值函数：$$Q_{\pi }(s_t,a_t)=E[U_t|A_t=a_t,S_t=s_t]$$
• 状态价值函数：$$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]$$
• 最优动作价值函数：$$Q^{\star }(s,a)=ma{x}_{\pi }(Q_{\pi }(s,a))$$
• 最优状态价值函数：$$V^{\star }(s)=ma{x}_{\pi }(V_{\pi }(s))$$
• 最优优势函数（optimal advantage function）：$$A^{\star }(s,a)=Q^{\star }(s,a)-V^{\star }(s)$$

1.2 优势函数的性质

1. 定理1：$$\begin{gathered} V^{\star }(s)=ma{x}_a(Q^{\star }(s,a)) \\ ma{x}_a{A}^{\star }(s,a)=ma{x}_a(Q^{\star }(s,a))-V^{\star }(s)=0 \\ ma{x}_a(A^{\star }(s,a))=0 \end{gathered}$$
2. 定理2：$$A^{\star }(s,a)=Q^{\star }(s,a)-V^{\star }(s)-ma{x}_a(A^{\star }(s,a))$$

2. Dueling Network

2.1 近似网络

1. 通过神经网络近似最优动作价值函数：$$Q(s,a;W)\sim Q^{\star }(s,a)$$

2. 通过神经网络近似最优状态价值函数：$$V(s;W^V)\sim V^{\star }(s)$$

3. 通过神经网络近似优势函数：$$A(s,a;W^A)\sim A^{\star }(s,a)$$

4. Dueling Network为：$$\begin{gathered} Q(s,a;W^A.W^V)=A(s,a;W^A)+V(s;W^V)-ma{x}_{a}A(s,a;W^A) \\ 后续使用W=(W^A,W^V) \end{gathered}$$
   $$Q(s,a;W)=A(s,a;W^A)+V(s;W^V)-ma{x}_{a}A(s,a;W^A)$$

Dueling Network与DQN的功能、输入、输出完全一致，在网络结构上不同。

2.2 训练过程

1. $$Q(s,a;W)近似Q^{\star }(s,a)$$
2. 参数训练方式与DQN完全一致：$$W=(W^A,W^V)$$
   训练可使用的trick：
3. 优先经验回放（prioritized experience replay）
4. Double DQN
5. Multi-step TD Target

3 网络保留优势函数最大值的原因：解决不唯一性

1. 式（1）：$$Q^{\star }(s,a)=V^{\star }(s)+A^{\star }(s,a)$$
2. 式（2）：$$Q^{\star }(s,a)=V^{\star }(s)+A^{\star }(s,a)-ma{x}_a{A}^{\star }(s,a)$$

• 式（1）有非唯一性，V、A神经网络上下波动对结果无影响，但会导致两个神经网络都学习不好。
• 式（2）保证了唯一性。
  通常下式的训练效果更好，没有理论依据，但是简单粗暴：
  $$Q(s,a;W)=A(s,a;W^A)+V(S,W^V)-mea{n}_a(A(s,a;W^A))$$
  本文内容为参考B站学习视频书写的笔记！

by CyrusMay 2022 04 11

我们在小孩和大人的转角
盖一座城堡
——————五月天（好好）——————