基于图注意力神经网络的多智能体博弈抽象

G2ANet

《Multi-Agent Game Abstraction via Graph Attention Neural Network》
关键词：大规模，博弈抽象，2级（硬+软皆有）注意力机制，图神经网络

通过简化策略学习过程解决了大规模智能体的问题。

贡献

1.用完全图来建模（构建）智能体之间的关系。因为大规模的智能体场景中不是每个智能体都相互作用的，我们需要确定关系（交互还是不交互？），就像足球后卫后卫不需要总是盯着对方守门员一样。（硬权重决定了智能体之间的关系）

2.提出基于2级（硬+软）注意力网络的博弈抽象机制，这可以表明两个智能体之间是否存在相互作用，以及相互作用的重要性。也是硬+软注意力机制所分别做的工作。

3.将这个检测机制集成到基于图神经网络的多智能体强化学习中，进行博弈抽象。

4.将G2Net分别与一个策略网络和一个Q网络结合，以此提出了两种新的学习算法GA-Comm（基于通信）和GA-AC（基于AC）。

背景

博弈抽象的主要思想是将多智能体强化学习（马尔可夫博弈）的问题模型简化为一个较小的博弈，从而降低求解（或学习）博弈均衡策略的复杂性。

注意力机制

两个主要类型：软注意力(就理解为soft max 的吧！)，硬注意力

软注意力计算元素的重要性分布。特别是软注意力机制是完全可微的，因此可以很容易地通过端到端的反向传播来训练。Softmax函数是一种常见的激活函数。然而，这个函数通常将非零概率分配给不相关的元素，这削弱了对真正重要元素的关注。

硬注意力从输入元素中选择一个子集，这迫使模型只关注重要元素，完全丢弃其他元素。然而，硬软注意力机制是选择基于抽样的元素，因此是不可微的。因此，它不能直接通过端到端的反向传播来学习注意力的权重。

方法

1.基于二级注意力机制的博弈抽象

提出基于2级注意力机制的博弈抽象方法。再基于此机制，提出GA-Comm和GA-AC算法。

考虑一个局部可观测环境。局部观测$o_i^t$被MLP编码成特征向量$h_i^t$。 然后，利用特征向量$h_i^t$通过注意力机制来学习智能体之间的关系（说的直接一点就是硬权重）。

首先用硬注意力机制来学习能够确定智能体之间是否有交互关系的硬权重。这篇论文是用LSTM来实现的，在每个时间步输出智能体i，j的的权重（0或者1）。 对于第i个智能体，将智能体i，j的嵌入向量合并为一个特征$(h_i，h_j)$，并将该特征输入进LSTM模型：
$$h_{i,j}=f(LSTM(h_i,h_j))\text{\hspace{1em}(1)}$$
其中$f$是一个全连接层用来嵌入（解码）的。然而，传统的LSTM网络的输出只依赖于当前时间和前一时间的输入，而忽略了后期时间的输入信息。 也就是说，输入（智能体）的顺序在这个过程中扮演了重要角色并且输出重量值不能利用所有智能体的信息。这是短视且不合理的。所以用到了Bi-LSTM模型来解决此问题。

此外，在背景部分交代过，硬注意力机制因为采样过程，不能反向传播梯度。所以尝试利用gumbel-softmax函数来解决。
$$W_h^{i,j}=gum(f(LSTM(h_i,h_j)))\text{\hspace{1em}(2)}$$
通过硬注意力机制，我们可以得到第i个智能体的子图$G_i$，在这个子图中第i个智能体刚好和需要协调的智能体连接。

然后，使用软注意力机制来学习子图$G_i$每条边的权重。使用查询键系统（键-值对），软注意力权重$W_s^{i,j}$将嵌入$e_j$与$e_i$进行比较，并将这两个嵌入之间的匹配值传递到softmax函数中：
$$W_s^{i,j}\propto exp(e_j^T{W}_k^T{W}_q{e}_i{W}_h^{i,j})\text{\hspace{1em}(3)}$$
其中$W_k$将$e_j$转换为一个密钥，$W_q$将$e_i$转换为一个查询，$W_h^{i,j}$是硬注意力值。最后，软注意力权重值$W_s^{i,j}$是边的最终权重，被定义为$W^{i,j}$。

2.基于博弈抽象的学习算法

通过两个阶段的注意力模型，我们可以得到一个约简图，其中每个智能体（节点）只连接到需要交互的智能体（节点）。

2.1基于博弈抽象的策略网络 GA-Comm
$$a_i=\pi (h_i,x_i)$$
上式为第i个智能体的策略$\pi$，其中$h_i,x_i$分别表示智能体的观测特征和其他智能体对第i个智能体的贡献。下面开始通过一系列方法得到$h_i,x_i$，最后来求得策略$\pi$。

用一个LSTM层来提取特征，$e$表示一个由全连接NN参数化的编码函数。$h_i,s_i$是LSTM的隐藏和cell状态。
$$h_i,s_i=LSTM(e(o_i),h_i^{,},s_i^{,})$$
至于其他智能体对第i个智能体的贡献$x_i$怎么得到呢？首先要使用2级注意力机制来选择哪个智能体是第i个智能体需要通信的并且获得它的重要性：
$$W_h^{i,j}=M_{hard}(h_i,h_j),W_s^{i,j}=M_{soft}(W_h,h_i,h_j)$$
其中$W_h^{i,j}$表示硬注意力权重值，$ W^{i,j}s$是软注意力值，这两者都由$h_i, h_j$计算得到，后者还需要一个$W_h$。同理，$M{hard}$是硬注意力模型，$M_{soft}$是软注意力模型。

现在万事俱备，我们通过GNN来计算得到其他智能体对第i个智能体的贡献$x_i$，具体计算方法如下：
$$x_i=\sum _{j\ne x}{w}_j{h}_j=\sum _{j\ne x}{W}_h^{i,j},W_s^{i,j},h_j$$
最后，我们通过$a_i=\pi (h_i,x_i)$得到了第i个智能体的动作。在训练过程中，用的是经典REINFORCE算法来训练策略$\pi$。

2.2基于博弈抽象的演员评论家网络 GA-AC

受到MAAC[Actor-Attention-Critic for Multi-Agent Reinforcement Learning]的启发，现在提出一个基于G2ANet的新算法。为了计算第i个智能体的Q值$Q_i(o_i,a_i)$，评论家网络接收所有智能体的观测值$o=(o_1，...，o_N)$和动作$a=(a_1，...，a_N)$：
$$Q_i(o_i,a_i)=f_i(g_i(o_i,a_i),x_i)$$
其中$f_I$和$g_i$是一个多层感知机(MLP)，其他智能体对第i个智能体的贡献$x_i$依然是由GNN计算得到，方法如下：
$$x_i=\sum _{j\ne x}{w}_j{v}_j=\sum _{j\ne x}{w}_{j}h(V{g}_j(o_j,a_j))$$
这里的值$v_j$是第j个智能体的嵌入，用一个嵌入函数编码，然后通过一个共享矩阵V变换得到。$h()$是一个元素上的非线性。

通过2级注意力机制计算注意权重$w_j$，将嵌入$e_j$与$e_i=g_i(o_i，a_i)$进行比较，并将这两个嵌入之间的关系值传递到一个softmax函数中：
$$w_j=W_h^{i,j}{W}_s^{i,j}\propto exp(h(BiLST{M}_j(e_i,e_j))e_j^T{W}_k^T{W}_q{e}_i)$$
其中$W_q$将$e_i$转换为一个查询，$W_k$将$e_j$转换为一个密钥。 这样，我们就可以得到注意力权重$w_j$，并计算出每个智能体的Q值。