演化博弈方法用于多智能体系统最优资源分配

演化博弈方法用于多智能体系统最优资源分配

Evolutionary game theoretic approach for optimal resource allocation in multi-agent systems
论文复现见 [论文复现]演化博弈方法用于多智能体系统最优资源分配 -CSDN博客

摘要 一群行为体在分布式环境中需要一组资源来完成任务，它们必须合作决定每个个体接受的资源数量来最大化系统性能。我们从演化博弈论的角度解决了这个问题，并提出了一种基于局部复制动态方程的完全分布式算法。通过使用最优性条件，我们证明了我们的算法在连通通信拓扑下的收敛性和最优性。一个示例说明了该方法在动态环境中的有效性。

1.引言

  在执行具有挑战性的任务时，需要一个多智能体系统（MAS）共同提供一组任务完成项目[1,2]。然而，该系统通常由异构个体组成，这些个体由于物理限制而受到资源限制，在有限的传感范围、武器能力或计算能力下工作。因此，利用个体差异并优化系统性能的有效分配机制是此类系统的共同前提之一。
  传统上，已经提出了许多集中式方法，其中中央实体收集系统信息并决定最终解决方案。典型的例子包括基于进化计算的方法[3]、基于拍卖的方法[4]、网络流优化[5]和线性规划[6]。尽管这些方法在许多情况下都是有效的，但也存在明显的缺点。首先，它们的计算成本很高，尤其是当问题规模增加时。更重要的是，在分布式场景中，中心机构的要求很难得到满足，因为行为体只能与邻居通信[7]。或者，近年来分布式方法越来越受欢迎，因为理想的解决方案可能仅来自局部交互[8]。在本文中，我们从演化博弈论的角度解决了资源分配问题[9-12]，并提出了一种基于局部复制动态方程（LRD）的分布式算法。我们的算法不依赖于全局信息，但保证了渐近收敛到最优解，从而使团队性能最大化。
  与经典博弈论不同，演化博弈论侧重于群体中集体行为的演化，其中每个个体都有有限的理性，并反复参与战略互动，以实现精细均衡。虽然这一理论起源于生物学领域，但也已扩展到协同控制场景中的工程问题。将异构无线接入环境中独立用户之间的竞争表述为动态演化博弈，分别通过种群进化和强化学习获得合作均衡[13]。其他问题，包括联合频谱传感和接入[14]、分布式自适应滤波[15]、聚类[16]和建筑物温度控制[17]也已得到解决。
  1978年首次引入[18]的原始复制动态方程（RD）模拟了自然选择如何影响动物（玩家）在每个栖息地（游戏策略）下的频率。在资源分配问题中，栖息地与单个行为体相对应，而栖息地的频率与所需资源的份额相关。因此，分配给每个行为体的资源的百分比增长率与其收益超过平均值的比例成正比。值得注意的是，尽管已经使用RD策略研究了资源分配，但本文假设了一个完全分布式的接触网络（NOC），并给出了收敛到最优解的证明。具体而言，本文提出的算法允许在全连接的接触网络下多行为体的最一般拓扑结构。
  论文的其余部分组织如下。第二节描述了基本问题。在第三节中，我们提出了基于LRD和收敛性分析的协作算法。第四节给出了一个模拟示例，以说明理论结果的有效性，第五节给出了一些结论性意见。

2.问题描述

A.分布式资源分配

  考虑一组需要分配 $M=\{1,2,\cdots ,m\}$ 种类型资源的异类（不是同一类的）行为体，用 $N=\{1,2,\cdots ,n\}$ 表示，每种资源的总量用 $y=[y_1,y_2,\cdots ,y_n{]}^{\text{T}}$ 表示，其中 $y_j$ 表示资源类型 $j\in M$ 的总量。假设对应于资源类型 $j$ 的数量 $x_{ij}$ 是一个连续变量，该变量用于表示行为体 $i\in N$ 获得的资源。定义
R i = { x ⃗ i = [ x i 1 , x i 2 , ⋯   , x i m ] T ∣ 0 ≤ x i j ≤ x i j max , j ∈ M } \mathcal{R}_i=\left\{\vec{x}_i=[x_{i1},x_{i2},\cdots,x_{im}]^\text{T} \left|0\le x_{ij}\le x_{ij}^{\text{max}},j\in M\right.\right\} Ri​={x i​=[xi1​,xi2​,⋯,xim​]T ​0≤xij​≤xijmax​,j∈M}
作为可行资源组合的集合，并设
Δ f = { X = [ x ⃗ 1 , x ⃗ 2 , ⋯   , x ⃗ n ] ∣ x ⃗ i ∈ R i , ∑ i = 1 n x ⃗ i = y } \Delta_f=\left\{X=[\vec{x}_1,\vec{x}_2,\cdots,\vec{x}_n]\left|\vec{x}_i\in\mathcal{R}_i,\sum_{i=1}^n\vec{x}_i=y\right.\right\} Δf​={X=[x 1​,x 2​,⋯,x n​] ​x i​∈Ri​,i=1∑n​x i​=y}
为可行的分配曲线。在收到一系列资源集时，一个行为体获得通过收益函数 $u_i:{\mathcal{R}}_i\to [0,+\infty )$ 定义的奖赏，而总和收益函数 $U:{\Delta }_f\to [0,+\infty )$ 定义为所有收益函数的和 $\sum _{i=1}^N{u}_i$。目标是寻找分配空间 $X=[x_1,x_2,\cdots ,x_n]$ 使得在约束条件 $X\in {\Delta }_f$下最大化$U(X)$。数学上，对异类行为体的最优资源分配问题可描述为
$$\begin{array}{rl}& \underset{x=\left[x_1,x_2,\dots ,x_n\right]}{\max }U(x)=\sum _{i=1}^n{u}_i\left(x_i\right)\\ & \text{s.t.}\{\begin{array}{l}0\le x_{ij}\le x_{ij}^{\max },i\in N,j\in M(1)\\ \sum _{i=1}^n{x}_{ij}=y_j,j\in M\end{array}\end{array}$$

B.接触网络

  为了让一组行为体合作，他们必须通过接触网络的通信了解相邻个体的状态。对于每个行为体$i$，我们将邻域定义为通过通信链路连接到它的行为体集合，也就是 $\forall i\in N,{\Omega }_i=\{k\in N|(i,k)\in E\}$，其中$E$是接触网络的边。本文中的接触网络假设为支持信息和事件相互交换的无向图。特别地，如果任意两个节点间存在通路则称其为连通图，如果任意两个节点间存在边则称其为强连通图（这里对强连通的定义好像不对）。

C.收益函数

  为了实现最经济的分配，根据资源生产的成本函数，假设每个行为体的收益函数$u_i$满足以下三个条件：
假设1: 收益函数$u_i$非负且在${\mathcal{R}}_i$上连续可微；
假设2: 收益函数$u_i$是在${\mathcal{R}}_i$上分配资源的增函数，而且是 $x_i=[x_{i1},x_{i2},\cdots ,x_{im}^{\text{max}}]$ 的最大值。这表明在生产能力范围内，接收更多的资源总能提高行为体的收益。
假设3: 收益函数$u_i$满足边际价格随着每个行为体类别分配的资源总量的增加而降低的条件，即
$$p_{ij}(x_i)>p_{ij}(x_i^{\prime }),\forall x_i,x_i^{\prime }\in \mathcal{R}:x_{ij}<x_{ij}^{\prime },x_{i,-j}=x_{i,-j}^{\prime }$$
其中 $-j$ 表示除了 $j$ 以外的资源类型，$p_{ij}(x_i)=\partial u_i/\partial x_{ij}$ 表示 $x_i$ 的第 $j$ 种资源类型的边际收益。
引理1: 在前面假设1-3下，收益函数 $u_i$ 是一个定义在 ${\mathcal{R}}_i$ 上的连续凹函数。
证明: 对

D.最优化条件

  因为$u_i$在${\mathcal{R}}_i$上严格凹，总和收益函数也必须严格凹，且有在 ${\Delta }_f$ 上唯一的最大值 $x^{\ast }$ 。由于 $U$ 不能在最优分配曲线上增加，所以必须存在 $i,k\in N,j\in M$ 使得 $p_{ij}(x_i^{\ast })>p_{kj}(x_k^{\ast })$ 使得 $x_{kj}^{\ast }=0$。
引理2: 在平衡点 $x^{\ast }$ 处，对资源类型 $j\in M$，所有属于集合 $A_j^{+}=\{i|x_{ij}^{\ast }>0,i\in N\}$ 的个体一定有相同的边际收益 $m^{+}\ge 0$ 且 $m^0=\underset{i\in A_j^0}{\max }{p}_{ij}(x_i^{\ast })$，$A_j^0=\{i|x_{ij}^{\ast }=0,i\in N\}$ 最多必须和 $m^{+}$ 一样大。
证明: 对任何一个前文定义的分配问题，第 $j$ 种资源类型的结果总处于两种情况中：(1)$A_j^0=\varnothing$ 和 (2) $A_j^0\ne \varnothing$。

3.分布式分配算法

  尽管(1)中的问题有时可以从最优化条件中通过解析法求解，但是它们假设有一个中心化的接触网络。更重要的是，这一结果是负的并且对于一些参数设置不成立。对于分布式环境的最优资源分配，我们提出了一个基于复制动态方程的合作算法，该算法一开始将个体在不同习性下的比例的演化建模为一组微分方程
$$\{\begin{array}{l}{\dot{s}}_i=\alpha s_i(f_i-\bar{f})\\ \bar{f}=\frac{1}{P}\sum _{i=1}^N{s}_i{f}_i\end{array}$$
其中住在第 $i$ 个栖息地的种群数量 $s_i$ 的增长率正比于该种群的适应度 $f_i$ 和种群平均适应度 $\bar{f}$ 之差。从演化博弈论的视角来看，栖息地类似于纯策略，$s_i$ 是采用第 $i$ 个策略的个体数量，$P=\sum _{i=1}^n$ 是种群总数量，$\alpha >0$ 是调整增长率的参数。（我学的演化博弈论中，$s$ 是单个种群占种群总数的比例，$P=1$，见 演化博弈、复制动态方程与仿真 -CSDN博客）
  这里需要说明的是，不同于中心化控制器或者全局收益给定的完全NOC情况，单个行为体只能得到所处多智能体系统中的局部信息。因此，我们将局部复制动态方程用于设计一个分布式的分配场景，其中每个个体基于局部平均值更新其资源，也就是，分配的资源 $x_{ij}(t)$ 的增长率为
x ˙ i j ( t ) = x i j ( t ) ( f i j ( x ⃗ i ( t ) ) ∑ k ∈ Ω i x k j ( t ) y j − f ~ i j ( t ) ) ( 12 ) f ~ i j = 1 y j ∑ k ∈ Ω i x k j f k j ( x ⃗ k ) ( 13 ) \begin{aligned} &\dot{x}_{ij}(t) = x_{ij}(t)\left(f_{ij}(\vec{x}_i(t)) \frac{\displaystyle\sum_{k\in\Omega_i}x_{kj}(t)}{y_j} -\tilde{f}_{ij}(t)\right) &\qquad(12)\\ &\tilde{f}_{ij}= \frac{1}{y_j}\sum_{k\in\Omega_i}x_{kj}f_{kj}(\vec{x}_k) &\qquad(13) \end{aligned} ​x˙ij​(t)=xij​(t) ​fij​(x i​(t))yj​k∈Ωi​∑​xkj​(t)​−f~​ij​(t) ​f~​ij​=yj​1​k∈Ωi​∑​xkj​fkj​(x k​)​(12)(13)​
其中 $f_{ij}(x_i(t))=p_{ij}(x_i)$，${\tilde{f}}_{ij}$ 为局部平均值。利用式(12)(13)，本文的分配算法通过下面几条规则定义：

1. 从任意可能的分配曲线 $x(0)$ 出发，算法采用同步更新方案，每个行为体的资源总数和每种资源数都同步更新。
2. 在每个步长 $t$ 内，行为体 $i$ 通过它的邻居 $k\in {\Omega }_i$ 收集包含 $x_k$ 和 $f_{kj}(x_k)$ 的局部信息。通过这一步，每个行为体通过式(12)(13)更新它的资源量，即
   $$x_{ij}(t+1)=x_{ij}(t)+{\dot{x}}_{ij}(t)\Delta t$$

引理3: 本文算法具有求和不变性，也就是说，如果 $\sum _{i=1}^n{x}_i(0)=y$，那么 $\forall t>0,$ $\sum _{i=1}^n{x}_i(t)=y$。
证明: 对任意时间 $t>0$，所有行为体的增长率 ${\dot{x}}_{ij}(t)$ 满足
$$\begin{array}{rl}\sum _{i=1}^n{\dot{x}}_{ij}(t)=& \sum _{i=1}^n\frac{x_{ij}(t)}{y_j}\left(f_{ij}(x_i(t))\sum _{k\in {\Omega }_i}{x}_{kj}(t)-y_j{\tilde{f}}_{ij}(t)\right)\\ =& \frac{1}{y_j}\sum _{i=1}^n\left(x_{ij}{f}_{ij}(x_i)\sum _{k\in {\Omega }_i}{x}_{kj}-x_{ij}\sum _{k\in {\Omega }_i}{x}_{kj}{f}_{kj}(x_k)\right)\end{array}$$
由于NOC是无向图，所以容易证明对于任意个体 $i$ 和它的邻居 $k$
$$x_{ij}{f}_{ij}(x_i)x_{kj}-x_{ij}{x}_{kj}{f}_{kj}(x_k)+x_{kj}{f}_{kj}(x_k)x_{ij}-x_{kj}{x}_{ij}{f}_{ij}(x_i)=0(16)$$
由此得出
$$\sum _{i=1}^n{\dot{x}}_{ij}(t)=0$$
给定初始条件 $\sum _{i=1}^n{x}_i(t)=y$，即可得证。
显然，对任意 $i$ 和 $j$，该算法的平衡点 $X^{\text{e}}$ 满足下列条件：
(C1)$X^{\text{e}}=0$ 或
(C2)$X^{\text{e}}>0$ 且 $f_{ij}(x_i^{\text{e}})\sum _{k\in \Omega }{x}_{kj}^{\text{e}}=\sum _{k\in \Omega }{x}_{kj}^{\text{e}}{f}_{kj}(x_k^{\text{e}})$
定理1: 对一个平衡点 $X^{\text{e}}$，如果所有位于 $x_{ij}^{\text{e}}$ 的行为体都是非切割顶点，那么 $X^{\text{e}}$ 一定是式(1)的最优解。
证明: 首先，我们考虑一种情况，

4.仿真结果

  本节给出了一个示例以说明所提出的算法在全连接NOC下的有效性，其中 $n=6$，$y=[545,467{]}^{\text{T}}$，且每个行为体与两个相邻的行为体交换信息。也就是说，${\Omega }_i=\{i-1,i+1\},\forall i\in (1,n)$，${\Omega }_1=\{6,2\}$，${\Omega }_6=\{5,1\}$，根据上面的约束条件，每个行为体的收益函数选为
$$u_i(x_i)=\sum _{j=1}^m\frac{x_{ij}(2x_{ij}^{\text{max}}-x_{ij})}{c_{ij}{x}_{ij}^{\text{max}}},x_i\in {\mathcal{R}}_i$$
其中，异质性与最大容量 $x_{ij}^{\text{max}}$ 相关，损失系数 $c_{ij}$ 与第 $j$ 类资源的每个单位相关（这句话没看懂），且
x max = ( x i j max ) 6 × 2 = [ 172 86 47 70 66 120 106 45 100 90 80 100 ] c = ( c i j ) 6 × 2 = [ 0.2 0.85 0.3 0.4 0.4 0.5 0.1 0.2 0.5 0.4 0.85 0.8 ] x^\text{max}=(x_{ij}^\text{max})_{6\times 2}=\left[\begin{matrix} 172 & 86 \\ 47 & 70 \\ 66 & 120 \\ 106 & 45 \\ 100 & 90 \\ 80 & 100 \\ \end{matrix}\right] \\ c=(c_{ij})_{6\times 2}=\left[\begin{matrix} 0.2 & 0.85 \\ 0.3 & 0.4 \\ 0.4 & 0.5 \\ 0.1 & 0.2 \\ 0.5 & 0.4 \\ 0.85 & 0.8 \\ \end{matrix}\right] \\ xmax=(xijmax​)6×2​= ​172476610610080​86701204590100​ ​c=(cij​)6×2​= ​0.20.30.40.10.50.85​0.850.40.50.20.40.8​ ​
仿真中时间步长 $\Delta t$ 设置为常值 $0.01$。

  图1中绘制了分配的资源 $x_{ij}$、边际收益 $p_{ij}$ 和总收益 $U$ 关于演化代数的函数。仿真结果表明，在协作和分布式资源分配协议中，总收益随着时间的推移单调增加，分配曲线逐渐收敛到最优解，其中所有行为体对于相同的资源类型具有相等的边际收益。需要注意的是在第800代时，损失系数 $c_{1,1}$ 和 $c_{6,2}$ 分别改变成 $0.9$ 或 $0.2$。局部放大的子图显示系统有能力对变化快速反应并到达当前条件下的新平衡点。实际上，该算法还适用于涉及与 $y$，$x^{\text{max}}$ 相关的其他干扰的动态环境下和通信拓扑中，只要NOC在每个步长内全连接。

总结

  本文针对网络化异构行为体之间的资源分配问题，提出了一种基于局部复制动态方程的分布式协作算法。通过使用最优性条件，我们证明了算法收敛于平衡点。特别地，当所有节点都具有正资源向量或所有具有 $x_{i^{\prime }j}^e=0$ 的行为体都是非割顶点时，平衡点对于分配问题是最优的。仿真结果表明了该方法在静态和动态环境中的有效性和可行性。