一文读懂，值得细读，遗传算法等优化算法的收敛性及分析模型

1.探究遗传算法收敛的必要性

遗传算法在应用方面已经取得了相当丰硕的成果，人们对它的发展前景也 充满了足够的信心。它主要应用在机器人学(移动机器人路径规划，关节机器 人运动轨迹规划，细胞机器人的结构优化等)，函数优化(非线性，多模型，多 目标优化等)，规划管理(生产规划，规划制图，并行机任务分配等)，信号处 理和人工生命组合优化(TSP问题，背包问题，图分划问题等)，图像处理(模式 识别，特征提取，智能识别，图像恢复等)等。

遗传算法的新动向主要表现在 它与其他计算智能方法的相互渗透和结合，比如遗传算法与模糊控制、遗传 算法与神经网络和混沌控制等。并行遗传算法不仅是它本身的发展，对新一代智能计算机体系结构的研究也是十分重要的。

但一直以来，遗传算法的理 论分析相对缺乏，进而对遗传算法的应用发展缺乏相应的理论支撑，而收敛性作为遗传算法的首要特性，决定着此算法的可行性，更是影响着遗传算法的发展。所以，对遗传算法收敛性的研究具有重要的意义，本文正是对遗传 算法的收敛性进行了研究与分析。

遗传算法本质上是对染色体进行的一系列运算。首先，利用选择算子把 当前种群的优良模式遗传到下一代种群中，再利用交叉算子把模式进行重组， 最后，利用变异算子进行模式突变。通过这三个遗传操作，一些不良的交叉 模式一点点被淘汰，并且以一些好的模式进行进化，最终得到最优解或是可行解。

在实际应用中，模式太多会降低遗传算法的效率，为了能进一步提高 遗传算法的效率，采用优胜劣汰的方式是非常必要的，这会使遗传算法以一 些好的模式发展，进而得到全局最优解。

在遗传算法达到局部最优解的情况下，算法可能会停滞不前，这种情况 下，种群中的个体可能一直都局限在局部最优解的边缘，新个体的适应度将 不再增加，即使迭代继续进行，也搜索不到全局最优解。

遗传算法的早熟收 敛表现在两方面：一是种群中的所有个体都局限在局部最优解的边缘，进而 种群将停止进化，最终将不能搜索到全局最优解；二是接近最优解的个体总是提前被淘汰掉，进化搜索过程仅限于次个体当中。这种现象称为过早收敛， 即“早熟”现象。

2.遗传算法早熟收敛的原因

“早熟”产生的原因有很多，遗传算法的操作和流程等因素都会影响算法的收敛性。现从以下几点进行分析：

（1） 初始化种群的影响。

因为遗传算法的初始群体是随机生成的。若初始群体靠近最优解，算法 就能找到最优解。假若初始群体集中在局部极值点附近，则容易找到该局部 的较优解，所以产生早熟收敛的结果也是随机的。

（2） 遗传算子的影响。

选择算子经常采用适应度比例选择法，这样容易产生“早熟”现象。按 照模式理论，选择算子对种群实行“优胜劣汰”，而适应度高的个体会很快充 满交配池，适应度低的个体即被淘汰，但是适应度低的个体所含有的模式可 能是优良的，在淘汰适应度较低的个体的同时，可能把较好的模式也淘汰掉 了，这样使得整个搜索趋势走向局部较优解，种群因缺乏好的基因物质而找 不到全局最优解。

交叉算子只是对模式进行重新组合，不会产生新的模式， 变异算子则弥补了这一点，但产生的新模式过多会使搜索陷入一般的随机搜 索模式，这样，随着进化代数的增加，优秀的个体通常会被淘汰掉。由于模 式丢失时，同一基因位上的字符值相同，没有互补字符值。

所以仅靠变异算 子来恢复丢失的互补字符值则无法保证基因的多样性。而且，一旦出现模式 丢失，算法的搜索效率将受到极大影响，极易导致早熟收敛或停滞现象的发 生。实际上，只要模式浓度减少到一定程度就会出现早熟收敛，更何况模式 丢失。可见，高适应度模式丢失或减少对早熟造成极大影响。

（3） 参数配置对收敛性的影响。

如果交叉概率过高则会使原本优良的个体很快的消失，而较低的交叉概 率会使算法的搜索过程停滞不前；较高的变异概率会破坏个体的优良基因， 较低的变异概率则很难产生好的基因。另外，种群规模过大，使得搜索效率 过低。规模过小，则没有足够的基因来寻优。因此，交叉概率、变异概率和 种群规模对算法收敛有重大影响。

（4） 编码的影响。

在编码精度上，精度过低会使算法搜索的跨度较大。从而全局最优解与 局部最优解相距很小，搜索过程中可能会陷于局部最优解，也就搜索不到全 局最优解。

（5） 问题自身的影响。

在函数优化上，多峰函数有多个局部最优解，单峰函数只有一个最优解， 则多峰函数比单峰函数更易出现“早熟”现象。当最优解附近解的分布较为 陡峭时，由于靠近最优解附近的个体适应值也许很差而遭淘汰，使该区域失 去搜索的机会而错过最优解，所以不连续函数比连续函数易出现早熟。

3.几种改进的遗传算法

针对不同的问题，很多学者在算法设计上也采用了不同的应对策略。如Goldberg D E.提出的混合法(Hybrid Approach)，该算法采用CGA与特定问题 的搜索技术相结合的方法，既利用了全局性又考虑了特定问题搜索技术的收 敛性；Rudolph G提出的VCGA，则将CGA、超级个体和提升机制三者结合为一体的一种新型遗传算法；徐川育提出的HVCSDA，是一种采用将VCGA和最陡降法相结合的混合型遗传算法；郑金华提出的基于空间交配的遗传算法，是在经典遗传算法中增加空间交配遗传算子，把整个搜索空间划分成不相交子空间的遗传算法；模拟退火(Simulated Annealing)算法是在结合了遗传算法 后可以有效避免算法陷入局部最优的一种基于热力学理论的优化方法。遗传 操作中的选择操作跟个体适应度密切相关，通过在搜索中动态控制选择概率， 适应值很低的个体也有被选中的机会，遗传算法可以实现模拟退火中的温度控制；提高遗传算法性能的一种行之有效的方法是将其与局部优化方法相结合，我们称之为混合型遗传算法，

该算法可以模拟生物在其生命当中的学习 行为；岛模型(Island Mode1)和细胞模型(Cellular Mode1)是并行遗传算法 中的两种，他们的做法是前者在多个按经典遗传算法运行的种群中引入“迁” (Migration)，后者的操作对象是针对一个种群，通过遗传操作使种群达到局 部优化，从而达到并行优化的目的；类似于生物之间有合作和竞争关系的合 作演化遗传算法，通过把一个复杂的问题化解成多个小问题，而这些小问题 就相当于生物当中的个体，既相互排斥又相互合作，通过这个关系来求得问 题的解；

由于经典遗传算法很容易破坏定义位置较远的模式的问题，针对这 种情况，学者们又相继提出了混乱遗传算法。所谓混乱，也就是不按一定的 次序，那么在混乱遗传算法中，个体中分量的位置就是错乱的。

混乱遗传算法的直接操作对象有个体和Schema。与只操作个体的经典遗传算法相比，该 算法缺少隐含并行性的特点。

4.经典收敛性分析模型

遗传算法收敛性一直是研究的热点话题，现有遗传算法收敛性分析可大 致分为四类，这四种类型是根据不同的研究方法和所采用的数学工具划分的， 即Vose-Liepins模型，Markov链模型，公理化模型等。本文采用Markov链对算 法收敛性进行分析，故将重点阐述。以下分别对它们进行描述。

4.1Vose-Liepins模型

这类模型产生于Vose和Liepins(1991)论文[2]。它的中心思想是用矩阵来表 示选择、交叉、变异算子，其中把交叉算子和变异算子组合成一个统一的算 子，称为组合算子，然后根据选择和组合这两个算子不动点的存在性和稳定 性来描述遗传算法的进化过程。

4.2 Markov链模型

因为遗传算法下一代种群的状态完全依赖于当前代种群信息，与过去的 状态没有关系，符合Markov链的定义，所以可以用Markov链来模拟。Markov 链的方法一直应用在研究不同形式GAs的渐近行为，列举如下：

(1)用Markov链描述算法的动态行为，Horn(1993，参见[ 3] )分析了不同算子(niching operators)对GAs的随机影响，根据长度为1的二进制串这一特 殊情形进行了分析，从数值模拟的角度进行验证推导。

(2)在更一般等价层次来表述种群，Mahfoud(1993，参见[ 4] )对用有限 Markov链分析Boltzmann锦标选择遗传算法的情况做了详细的分析，明确了在 此过程中转移概率的确定。该方法在种群中没有交叉算子和变异算子的情况 下，讨论使用该选择过程达到或接近其吸引状态所需的平均迭代次数以及平 均迁移时间。该方法具有较普遍的特性，为分析复杂遗传算法奠定了基础。 通过本文当中对选择算子的应用，使我们对进一步研究其它算法的选择算子 有所帮助。但是，本文是在不考虑交叉算子和变异算子的情况下进行的，所 以不适用于含有交叉算子和变异算子的普遍性问题。

(3)对Vose和Liepins(参见[ 2] )及Nix和Vose(参见[ 5] )的工作进一步深入研究， Dawid(1994，参见[ 9] )分析了种群当中每个个体的适应值都通过一个函数来确定，而这个函数是由种群的状态确定的。他证明了可用下列两个式子来描述 当前遗传算法的Markov链。

这里, 。易知当 时, 转移矩阵 为严格正的, 所以上述 Markov链有唯一的极限分布。当 时, 为了保证上述Markov链稳定状态为局部渐近, Dawid就单点杂交和均匀杂交两种情形分别给出了充要条件。

(4)以文[5]中的Markov链模型为基础，Suzuki(1995，参见[ 6] )通过估计转 移矩阵的特征值，分析了最优个体保留机制遗传算法的收敛性与收敛速度， 即将当前种群中的最佳个体保留到下一代种群中。

(5)将遗传算法中选择、交叉和变异三种算子用矩阵的形式表示，分别是 C，M和S，讨论它们之间的运算过程。Rudolph(1994，参见[ 7] )用带有转移矩 阵P=C·M·S的Markov链来描述简单遗传算法，同时讨论它在静态最优化问 题中的收敛性。利用有限Markov链理论，证明了当p_m时，Markov链是遍历的。所以如果收敛性这样定义：由遗传算法迭代所产生的适应值序列以 概率1收敛到优化问题的全局最优值，那么，可见标准遗传算法并不收敛，但 含有最优个体保留机制的遗传算法却是收敛的。

(6)Reynoldse和Gomatam(1996) (参见[ 8] )为了避免用Markov链描述遗传 算法对编码形式的依赖，他们把遗传算法从搜索的角度分为替代抽样和非替 代抽样两大类，在加入以向量为指标的矩阵乘方的前提下，分析了上述两种 遗传算法在只有抽样运算、有抽样与比例选择以及所有遗传算子相互作用的 情况下，各算子之间相互作用的标准定义和相应转移概率的准确计算，根据 上述方法建立起Markov链模型及收敛性的分析。

(7)考虑到遗传算子之间有不同的组合方式以及交叉概率，变异概率变化 的问题， Davis和Principle(1991)(参见[ 9] )提出了一种分析遗传算法渐近行为 的思想，将现有模拟退火算法理论应用到遗传算法的Markov链中。这种方法 与原始的Markov链方法相比，该方法更具有普遍性，能够同时分析时齐与非 时齐的遗传算法，这样可以更快发掘各种不同组合算子在遗传算法中的优缺 点。但是,除了一些简单的描述概率转移阵的确定与数值模拟外，我们至今仍 未能看到有关该类方法的严格理论分析。

(8)将变异算子、杂交算子看作为对当前种群中个体的随机扰动，并用状 态空间上满足一定条件的马氏核(markovian kerne1)确定从当前种群状态到下 一代种群状态的转移概率，Cerf(1994，参见[ 10] )根据动力系统随机扰动理论研 究了当扰动趋于零时GAs的渐近行为，并讨论了为保证收敛扰动和选择压应 满足的条件。因为其中的假设条件很难得到验证，故该文结果很难用于对实 际GAs的分析。

(9)针对组合优化问题，在建立适当的邻域结构后， Eiben等人(1991，参 见[ 11] )通过含参数的特定函数分别描述选择、组合、估值等运算，提出了一种 抽象遗传算法的Markov链模型，它是用带参数函数复合表示的。但由于所给 收敛性的条件有局限性，只适合于特殊的杂交，变异或者带有最有个体保留 机制的遗传算法，故很难应用到一般方法中。该方法因为缺少普遍性而得不到发展。

4.3 公理化模型

徐宗本等(1998,参见[ 12] )提出了一种公理化模型方法，该方法比较全面， 既适用于分析时齐的遗传算法也适用于分析非时齐。它将遗传算法中的选择 算子和重组算子通过公理化来描述，并利用所引进的参量来分析GAs的收敛 性，这些是该方法的主要思想。这个模型因为可以方便的确定参量而具有不 可替代的应用价值，占有重要地位。

5.参考文献：

1.吕卉.基于空间交配遗传算法的收敛性分析(重要参考)

2.Vose M D and Liepins G E. Punctuated equilibria in genetic search. Complex Systems, 1991, 5: 31-44

3.Horn J. Finite Markov chain analysis of genetic algorithms with niching. Proceedings of the Fifth International Conference on Genetic Algorithms, San Mateo, Morgan Kaufmann, 1993, 110-117

4.Mahfoud S W. Finite Markov chain models of an alternative selection strategy for the genetic algorithm Complex Systems, 1993, 7: 155-170

5.Nix A E and Vose M D. Modeling genetic algorithms with Markov chains. Annals of Mathematics and Artificial Intelligence. 1992, 5: 79-88

6.Suzuki J. A Markov chain analysis on simple genetic algorithms. IEEE Transactions on Systems, Man and Cybernetics, 1995, 25: 655-659

7.Rudolph G. Convergence analysis of canonical genetic algorithms. IEEE Transactions on Neural Networks, 1994, 5: 96-101

8.Reynolds D and Gomatam J. Stochastic modeling of genetic algorithms. Artificial Intelligence, 1996, 82: 303-330

9.Davis T E and Principe J C. A simulated annealing like convergence theory for the simple genetic algorithm, Proceedings of the Fourth International Conference on Genetic Algorithms, San Mateo, Morgan Kaufmann, 1991, 174-181

10.Cerf R. Asymptotic convergence of a genetic algorithm. C R. Acad. 1994, 271-276

11.Eiben A E. etc. Global convergence of genetic algorithms: a Markov chain analysis, Parallel Problem Solving from Nature, Berlin, Springer-Verlag, 1991, 4-12

12.徐宗本, 段启宏, 张文修. 模拟演化计算的一个公理化模型