多智能体强化学习论文导读

Adaptive Value Decomposition with Greedy Marginal Contribution Computation for Cooperative Multi-Agent Reinforcement Learning

Dec-POMDP

本文的研究对象是 decentralized partially observable Markov decision process (Dec-POMDP), 我们首先来看一下它和经典的MDP有什么不同?

(1) 奖励设定不同, 这里没有给到每一个agent的奖励, 只有一个整体奖励(team reward) $r_{tot}(\mathbf{s},\mathbf{u})$.
(2) 每个agent $i$ 观测到的不是它自己的状态 $s_i$, 它的观测要根据具体的设定来确定, 为表示区分常用 $o_i$ 来表示.
(3) 新增了一个叫做 view range 的概念, 每个 agent 都有一个 view range, 在这个范围里面的其他 agent 对它来说是可见的, 可以和它信息交互并与它合作, 且它的观测信息里包含它们的信息, 超出这个范围的 agent 视为无法和这个 agent 进行信息交互和合作, 其状态也不可见.

一些基本的符号: $N$: agent数量.

本文做了如下的一些假设:

reward 机制

考虑 agent $i$ 的奖励, 定义 agent $i$ 视野范围内的 agent 集合为它所在的团队(team), 记其数量为$M_i$, 作者认为 $i$ 自己的奖励 $r_{team}^i$ 和 view range 里所有 agent 的状态 (根据设定, view range里其他agent的信息应该在 $o_i$ 包含),其它agent采取的动作 $u_i^{-}$, 以及它本身所采取的动作 $u_i$ 有关, 所有 agent 获得的奖励之和是 team reward $r_{tot}$, 即

$$r_{tot}(\mathbf{s},\mathbf{u})=\sum _{i=1}^N{r}_{team}^i(o_i,u_i^{-},u_i)$$

价值函数

team reward 对应得到的 Q 函数: $Q_{tot}^{\mathbf{\pi }}(\mathbf{s},\mathbf{u})$,
$$\begin{gathered} Q_{tot}^{\mathbf{\pi }}(\mathbf{s},\mathbf{u})={\mathbb{E}}_{\mathbf{\tau }\sim \mathbf{\pi }{|}_{{\mathbf{s}}_0=\mathbf{s},{\mathbf{u}}_0=\mathbf{u}}}\{\sum _{t=0}^{\infty }{\gamma }^t{r}_{tot}\}={\mathbb{E}}_{{}_{\mathbf{\tau }\sim \mathbf{\pi }{|}_{{\mathbf{s}}_0=\mathbf{s},{\mathbf{u}}_0=\mathbf{u}}}}\{\sum _{t=0}^{\infty }{\gamma }^t\sum _{i=1}^N{r}_{team}^i\} \\ =\sum _{i=1}^N{\mathbb{E}}_{{}_{\mathbf{\tau }\sim \mathbf{\pi }{|}_{{\mathbf{s}}_0=\mathbf{s},{\mathbf{u}}_0=\mathbf{u}}}}\{\sum _{t=0}^{\infty }{\gamma }^t{r}_{team}^i\} \end{gathered}$$
定义${\mathbb{E}}_{{}_{\mathbf{\tau }\sim \mathbf{\pi }{|}_{{\mathbf{s}}_0=\mathbf{s},{\mathbf{u}}_0=\mathbf{u}}}}\{{\sum }_{t=0}^{\infty }{\gamma }^t{r}_{team}^i\}=Q_i^{{\pi }_i}(s_i,u_i^{-},u_i)$, 这里 $Q_i^{{\pi }_i}(s_i,u_i^{-},u_i)$ 被称作agent $i$ 的 individual Q 函数,则 $Q_{tot}(\mathbf{s},\mathbf{u})$ 可以分解成这种形式:
$$Q_{tot}(\mathbf{s},\mathbf{u})=\sum _{i=1}^N{Q}_i^{{\pi }_i}(s_i,u_i^{-},u_i)$$
还可以得到如下的结论:

$$\underset{u_i}{\mathrm{argmax}}{Q}_{tot}(\mathbf{s},\mathbf{u})=\underset{u_i}{\mathrm{argmax}}{Q}_i^{{\pi }_i}(s_i,u_i^{-},u_i)$$
可以看出和 $u_i$ 有关的项是 $Q_i^{{\pi }_i}$, 因此可进一步得出:

$$\underset{\mathbf{u}}{\mathrm{argmax}}{Q}_{tot}(\mathbf{s},\mathbf{u})=\sum _{i=1}^N\underset{u_i}{\mathrm{argmax}}{Q}_i^{{\pi }_i}(s_i,u_i^{-},u_i)$$

策略

策略永远是greedy的:
$$\pi (s_i)=\underset{u_i}{\mathrm{argmax}}{Q}_i(s_i,u_i)$$

Q value function 的近似

把 $Q_i$ 近似地取成如下形式: $Q_i(s_i,u_i)\approx Q({\tau }_i,u_i)$, 其中 ${\tau }_{i,t}=\{o_{i,1},u_{i,1},...,o_{i,t}\}$, 称为 history.