粒子群算法（PSO）——总体概述

粒子群算法（Particle swarm optimization ，PSO）

PSO 是1995年由 Kennedy 和 Eberhart提出的一种算法。PSO和GA的相似之处在种群的初始化，都是随机生成初始解，但对于PSO的每个潜在解都会设置一个随机速度和位置，这被称为粒子，粒子在问题空间飞行来搜寻最优解。粒子个体执行很简单行为：去模拟其周围个体的“成功”与该粒子本身的“成功”。从这些简单个体简单行为的群体涌现实现了在高维空间中的最优解搜索。

PSO根据他们邻居规模的不同被分为两种算法，分别是局部最优PSO（ $l-best$ PSO）和全局最优PSO（ $g-best$ PSO）。

PSO的速度成分

粒子 i 最佳位置以 ${\mathbf{y}}_i(t)$ 表示（截止 t 时刻，粒子 i 搜索到的最优位置）；邻居的最佳位置，记为 $\hat{\mathbf{y}}(t)$； 粒子 i 的当前位置以 ${\mathbf{x}}_i(t)$ 表示。将速度更新以矢量形式描述，则有：

${\mathbf{v}}_i(t+1)={\mathbf{v}}_i(t)+c_1\cdot {\mathbf{r}}_1(t)\cdot [{\mathbf{y}}_i(t)-{\mathbf{x}}_i(t)]+c_2\cdot {\mathbf{r}}_2(t)\cdot [{\hat{\mathbf{y}}}_i(t)-{\mathbf{x}}_i(t)]$，

其中 ${\mathbf{v}}_i(t)$ 是前速度，表示对之前飞行方向的记忆，这一项可视为动量，它阻止粒子改变方向，是惯性项；

$c_1\cdot {\mathbf{r}}_1(t)\cdot [{\mathbf{y}}_i(t)-{\mathbf{x}}_i(t)]$ 是对粒子 i 过去表现的量化，被称为认知部分。某种意义上讲，认知部分是粒子 i 关于最优位置的个体记忆。这一项的影响是会使粒子退回到它曾经的最优位置；

$c_2\cdot {\mathbf{r}}_2(t)\cdot [{\hat{\mathbf{y}}}_i(t)-{\mathbf{x}}_i(t)]$ 是对邻居信息的量化，即社会信息，被称为社会部分。社会部分类似于个人寻求达到的群体规范或标准；这一项的影响是使得每个粒子向该粒子邻居发现的最优位置移动。

认知部分和社会部分分别由 $c_1\cdot {\mathbf{r}}_1(t)$和 $c_2\cdot {\mathbf{r}}_2(t)$ 赋予权重。当从时间 t 到 t+1 时，速度和位置的变化如下：

全局最优PSO

每个粒子的邻居是整个粒子群，$g-best$ PSO的社会网络结构应用的是星型拓扑结构，这种结构中，粒子速度更新的社会部分反映的是从种群中的所有粒子中得到信息。

$g-best$ PSO的速度为：$v_{ij}(t+1)=v_{ij}(t)+c_1\cdot r_{1j}(t)\cdot [y_{ij}(t)-x_{ij}(t)]+c_2\cdot r_{2j}(t)\cdot [{\hat{y}}_{ij}(t)-x_{ij}(t)]$，

其中 $v_{ij}(t)$ 是粒子 $i$ 在第 $j$ 维的速度，$x_{ij}(t)$ 是粒子 $i$ 在第 $j$ 维的位置，$j=1,2,\cdots ,n_x$；$c_1,c_2$ 是加速度常数（用于衡量认知部分和社会部分分别的贡献程度），$r_{1j}(t),r_{2j}(t)\sim U(0,1)$ 是从均匀分布中采样得到的随机值。

在最小化问题中，${\mathbf{y}}_i(t)$ 的更新规则为：${\mathbf{y}}_i(t+1)=\{\begin{array}{rlr}{\mathbf{y}}_i(t),& & iff({\mathbf{x}}_i(t+1))\ge f(y_i(t))\\ {\mathbf{x}}_i(t+1)& & iff({\mathbf{x}}_i(t+1))<f(y_i(t))\end{array}$
其中，$f:{\mathbb{R}}^{n_x}\to \mathbb{R}$ 是适应度函数。

而 $\hat{\mathbf{y}}(t)=min\{f({\mathbf{x}}_0(t)),\cdots ,{\mathbf{x}}_{n_s}(t))\}$

其算法伪代码可表示如下：

对于一个二维变量的寻优问题，以符号 “$\times$” 表示最优解位置，则在第 t 步和 t + 1步，粒子变化示意图为：

局部最优PSO

$l-best$ PSO 中每个粒子的邻居相比于$g-best$ PSO要少很多，它采用的是环形社会网络拓扑结构。这种结构中，粒子速度更新的社会部分反映的是粒子周边邻居中得到的信息，反映的是局部环境信息。这种情况下，社会信息是该粒子的邻居中的最佳位置，记为 $\hat{\mathbf{y}}(t)\in {\mathcal{N}}_i$。

其邻居集合可表示为：${\mathcal{N}}_i=\{{\mathbf{y}}_{i-n_{{\mathcal{N}}_i}}(t),{\mathbf{y}}_{i-n_{{\mathcal{N}}_i}+1}(t),\cdots ,{\mathbf{y}}_{i-1}(t),{\mathbf{y}}_{i+1}(t),\cdots ,{\mathbf{y}}_{i+n_{{\mathcal{N}}_i}}(t)\}$，邻居数量为$n_{{\mathcal{N}}_i}$。个体最佳位置以 ${\mathbf{y}}_i(t)$ 表示（截止 t 时刻，粒子 i 搜索到的最优位置）。则该方法的速度更新与 $g-best$ PSO相同。

在基础的PSO中，粒子彼此之间没有联系，而邻居的选择是基于粒子索引的。基于索引的邻居选择，其不需要粒子的空间序列，因此计算是很便宜的，利用粒子之间的距离来生成邻居；同时，它不需要粒子在空间中的相对位置，还有助于所有粒子相关的优良解的信息的传播。

一个粒子可以作为许多粒子的邻居，这种邻居之间的交互作用促进了邻居之间的信息交换，使得种群向最优解收敛。

对于一个二维变量的寻优问题，以符号 “$\times$” 表示最优解位置，则在第 t 步和 t + 1步，粒子变化示意图为：

如图所示，在邻居 1 中，粒子 a 和 b 向 c 移动；邻居 2 中， 粒子 d 和 e 向 f 移动，但在下一次迭代中，粒子 e 变成了这一组的最优位置，则粒子 d 和 f 向 e 移动。

因为 $g-best$ PSO 有着更大的粒子连通性，它的收敛比 $l-best$ PSO更快；但是，它的多样性比 $l-best$ PSO要差。因为 $l-best$ PSO 的多样性更大，即其可以覆盖更大的搜索空间，因此不容易陷入局部最优，而其邻居的网络拓扑结构对 $l-best$ PSO的性能也有影响。

关于粒子群算法参数及其他方面的讨论，可看以下两篇：
粒子群算法（PSO）——算法详解（一）
粒子群算法（PSO）——算法详解（二）