RM-MEDA:A Regularity Model Based Multiobjective Estimation of Distribution Algorithm

文章地址：RM-MEDA: A Regularity Model Based Multiobjective Estimation of Distribution Algorithm

在温和的条件下，可以从Karush-Kuhn-Tucker条件诱导出连续多目标优化问题的Pareto集是(m-1)-D区段连续，其中m是目标数。根据这个规则属性，我们提出一种基于规则模型的分布式算法多目标估计（RM-MEDA）,用于连续多目标优化问题with variable linkages。在每一代中，所提出的算法通过其质心为（M-1）-D分段连续流行的概率分布在决策空间中建模有前景的区域。采用局部主成分分析算法来建立该模型。从模型中采样新的试用解。然后采用非支配排序来选择解进入下一代。

引言

多目标优化在许多工业领域备受关注。一般，MOP中的目标是相互冲突的，没有单个解能够同时优化所有目标。Pareto集/面是决策/目标空间的一组最优折中解。当决策者的偏好无法获取或难以在数学上表示时，决策者通常需要近似Pareto集或Pareto面来给予他们最终的选择。这种近似可以是Pareto最优解的有限集合或Pareto集/面的数学近似模型。

当Schaffer‘s开创性成果发表后，发展了一系列进化算法（EA）来求解多目标优化问题。多目标优化算法（MOEA）的主要优势是它们是基于种群的算法，能够在单次运行中提供一组Pareto最优解来近似Pareto面/Pareto集。当前的MOEA研究主要集中在以下问题。

适应度分配和分布性维持：与标量优化的方法一样，大多数MOEAs使用选择算子将其搜索引导到决策空间中的有前景的区域。当Pareto支配不能完成排序时，单目标优化中的传统的选择算子不能直接应用到多目标优化中。此外，大多数MOEAs的任务是产生一组尽量均匀分布在Pareto面上的解。因此，MOEAs的选择算子不能只考虑种群的收敛性。因此，为每个解分配相对适应度值以反映其在MOEAs中的选择效用是非常重要的工作。适应度分配成为了过去20年的主要研究。一些技术，例如适应度共享、聚集距离，在适应度分配中频繁使用来保证搜索的分布性。最近，提出了一种基于分解的适应度分配和多样性维持方法。

额外种群：使用当个on-line种群很难平衡收敛和分布。因为数量有限，on-line种群不能存储在搜索期间找到的一些代表性的解。为了克服该缺陷，MOEA采用额外的种群（归档集）来记录搜索过程中找到的非支配解。

MOEA和局部搜索的结合：memetic algorithm结合EA和启发式局部搜索法在各种单目标优化问题中优于传统的进化算法。一些多目标memtic algorithms（MOMA）在过去十年里获得发展。MOMA需要考虑如何为局部搜索算子评价解的质量。在多目标遗传局部搜索（MOGLS）中，随机权重的标量函数在局部搜索和选择中用作其评估函数。Memetic Pareto archived evolution strategy（M-PAES）通过使用支配排序来评价解。MOEA/D提供了多目标优化中标量优化的一般方法。

然而，在如何生成新的解集方面还没有多少工作。当前大多数MOEAs直接采用的是遗传重组算子，例如：交叉和变异。在生成新解的过程中，MOPs的特征没有被很好地利用。最近，Deb等比较了几个重组算子在一些测试问题with variable linkages上的性能。实验结果表明，variable linkages导致MOEA的难度增加，重组算子对MOEA的性能至关重要。

据观察，在温和条件下，连续MOP的Pareto集（决策空间）是分段连续（m-1）维流形，其中m是目标的数量。该观察已经在数学规划方法中用来近似Pareto面和Pareto集。然而，这种规律并没有应用到MOEAs中，除了那些隐含利用规律性的局部搜索，例如动态加权聚合方法。本文的工作将表明，基于这种规律性的新试验解的繁殖可以有效地应对连续MOP中的variable linkages。

分布性算法的估计（EDA）是进化计算中一种新计算模式。另外，他们明确地从所选择的解中提取全局统计信息，并基于提取的信息构建有前景的解的后验概率分布模型。从构建的模型中采用新的解，并全部或部分取代久的种群。几种EDA方法已经提出来求解连续MOP问题。然而，这些EDA在建立概率模型时没有考虑规律性。由于规律性概率建模技术已经在统计学领域得到了广泛的研究，因此非常适合利用EDA设计中的规律性来实现连续MOP。

作为首次在决策空间中捕获和利用Pareto集的规律性，我们最近提出使用局部主成分分析来从先前的搜索中欧提取Pareto集的规律性模式。我们研究了两种混合MOEAs。其中一些试验解由传统遗传算子生成，其他的从基于规律模式构建的概率模型中抽样生成。

主要创新：基于连续MOPs的规律性属性，提出一种分布性算法的估计求解连续MOPs。该算法没有采用交叉和变异算子产生新的解。另外，本文还建立了更具有统计意义且简单的模型的参数估计。

算法

基本思想

EDAs构建概率模型，用于基于从先前搜索中提取的统计信息来表征搜索空间中的有前景的解，然后从该模型中采样新的试验解。一个非常重要的问题是应该使用什么样的模型来完成这样的任务。一个好的模型应该易于构建和采样，并且能够描述具有良好保真度的有前景的区域。

我们希望决策空间中的种群能够近似PS，且随着搜索的推移均匀地散布在整个PS上。因此，我们可以设想种群中的点作为以PS为质心的随机向量的独立观测。而PS是一个分段连续（m-1）维流形，有如下描述：

(2)

其中，均匀分布在分段连续（m-1）维流形上。为n维均值为0的噪声向量。

图1给出了我们的基本思想。

算法框架

在每一代中没，算法需要保留大小为N的种群：

算法如下所述：

建模

将模型（2）拟合到种群中的点与主曲线或曲面分析高度相关，旨在找到中一组点的中心曲线或曲面。然而，由于其模型的内在复杂性，用于主曲线或曲面分析的大多数算法相当昂贵。由于在RM-MEDA每一代中需要进行建模，因此在RM-MEDA中无法承受太过复杂的模型。另一方面，当种群中的点的实际分布很难通过公式（2）准确描述时，也没必要采用复杂的模型。

为了简单起见，在我们实现中，假设的质信是由K个流形组成，（例如，(2)中的在这些流形上均匀分布。），每个是一个(m-1)维超矩形。特别地：

在二目标情况下（m=2），每个在中是一个线段。

在三目标情况下（m=3），每个在中是一个矩形。

假设表示是来自的事件。那么

在事件发生的条件下，我们做出如下假设：

是在上均匀生成的。

，其中是单位矩阵，。

在以上假设的情况下，建模问题视为估计和。为了解决该问题，我们首先划分为K分离簇，在中的点视为在A^j条件下的样本。然后，我们能够估计参数。

在本文中，我们使用(m-1)维局部猪成分分析（(m-1)-D Local PCA）算法为划分的种群。假设为的有限子集，的样本均值是：

其中是的基数。中点的协方差矩阵为：

第i个主分量是矩阵Cov的第i个最大特征值相关联的单位特征向量。然后将S中各点的仿射(m-1)维主子空间定义为：

通过(m-1)局部PCA算法最小化以下误差函数获得分区。

其中是中点的仿射(m-1)维主要j子空间，是从x到其在中的投影的欧几里德距离。

(m-1)局部PCA通过以下迭代将种群分割到：

局部PCA算法比K-means聚类方法（聚类质心为一点）更适合于分割来构建模型(2)。因为我们假设每个质心cluster应该是一个(m-1)-D超矩形而不是一个点。

大致上，RM-MEDA的建模工作如下所示：

讨论：

繁殖

需要考虑的问题是在每个中生成多少个新的试验解。在最终解均匀分配在PS的理想情况下，我们假设

其中，为的(m-1)-D体积。因此，围绕生成的新解与成比例。生成解的过程如下：

选择

选择的过程如下：