模拟退火算法与JSP

JSP是典型NP-hard问题之一，首先我想解释一下什么是NP-hard问题

在了解NP-hard问题之前，必须了解一个概念叫做多项式时间：在计算复杂度理论中，指的是一个问题的计算时间不大于问题大小的多项式倍数，通俗些理解，我觉得就是一定规模的问题，总有一个时间范围内可以将它解决，这个范围就是多项式时间，然后NP是指非确定性多项式（non-deterministic polynomial，缩写NP）。所谓的非确定性是指，可用一定数量的运算去解决多项式时间内可解决的问题。NP问题就像是如果给你一个确定那个的例子，你可以很容易的验证他是不是正确，但是如果让你去找这个最优解确实无穷无尽，不太容易求解的，它躲开了求解到底需要多少时间这样的问题，而仅仅只是强调验证需要多少时间

像这一类在有限个可行解的集合中找出最优解的一类优化问题称为组合最优化问题，它是运筹学中的一个重要分支。所研究的问题涉及信息技术、经济管理、工业工程、交通运输、通讯网络等诸多领域。组合优化算法是一类在离散状态下求极值的问题。所以对于这样的组合优化问题，就出现了各种算法作为解决方案

常用的非数值算法有遗传算法、模拟退火算法和神经网络算法。

这次的作业车间调度问题（Job-shop scheduling problem, JSP）中，得满足约束条件:(1) 每个工件使用每台机器不多于1次;(2) 每个工件利用每台机器的顺序可以不同;(3) 每个工件的工序必须依次加工，后工序不能先于前工序；(4) 任何工件没有抢先加工的优先权,应服从任何生产顺序;(5) 工件加工过程中没有新工件加入,也不临时取消工件的加工。作业车间调度问题需要在有效时间内寻找到最小的加工时间。

鉴于这样的需求分析，我选择的是采用模拟退火算法。模拟退火算法以简单有效的搜索方式既避免了数值算法的高计算量，又避免了局部搜索算法快速收敛于局部最优解的缺点。模拟退火算法，需要首先由暴力算法生成一个可行的工序序列，作为退火算法的初始解，构建出解空间，然后在解的空间内找寻命题的最优解。

首先我想介绍一下退火算法，采用模拟退火的出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法来源于固体退火原理。大自然在缓慢降温（亦即，退火）时，可“找到”最低能量状态：结晶。如下图4-1所示，首先（左图）物体处于非晶体状态。我们将固体加温至充分高（中图），再让其徐徐冷却，也就退火（右图）。加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小（此时物体以晶体形态呈现）。似乎，大自然知道慢工出细活：缓缓降温，使得物体分子在每一温度时，能够有足够时间找到安顿位置，则逐渐地，到最后可得到最低能态，系统最安稳。

图4-1

 

 

模拟退火其实也是一种贪心算法，但是它的搜索过程引入了随机因素。在迭代更新可行解时，以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，达到全局的最优解。以下图为例，假定初始解为左边蓝色点A，模拟退火算法会快速搜索到局部最优解B，但在搜索到局部最优解后，不是就此结束，而是会以一定的概率接受到左边的移动。也许经过几次这样的不是局部最优的移动后会到达全局最优点D，于是就跳出了局部最小值。

 

图4-2

    

物理退火过程：根据Metropolis（蒙特卡洛）准则，在温度T，分子停留在状态r满足Boltzman概率分布（r是指能量状态，离散化的数据）

`E表示分子能量的一个随机变量，E（r）表示状态r的能量，KB>0是Boltzman常数，Z（T）是概率分布的标准化因子，因为概率是一个[0，1]的数值，这就是能量因子的作用，KBT是一个整体，一个温度

物理退火的过程，同一个温度T，选定两个能量E1

模拟退火算法的基本思想就是：在一定温度下，搜索从一个状态随即地变化到另一个状态，随着温度的不断下降直到最低温度，搜索过程以概率1停留到最优解。

用固体退火模拟组合优化问题，组合优化问题的解可以看做粒子的状态，最优解就是固体能量最低的状态，组合优化问题设定的初始温度便是固体的退火过程，Metropolis抽样过程，就是固体的等温降温的过程，组合优化问题中的控制参数的下降，就是固体的冷却过程，也就是温度T下降：由初始解i和控制参数初值t开始，对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling Schedule)控制，包括控制参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止条件S。算法先以搜寻空间内一个任意点作起始：每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。模拟退火算法是一种通用的优化算法，其物理退火过程由加温过程、等温过程、冷却过程这三部分组成，即：

初始高温 => 温度缓慢下降=> 终止在低温 （这时能量函数达到最小，目标函数最小），对于模拟退火的要求：（1）初始温度足够高，粒子能足够自由运动（2）降温过程足够慢，在每一个温度下都能找到一个最低的状态（3）终止温度足够低，使概率接近于1，虽然可能不是理想状态，但是得达到可接受的范围。

Metropolis准备就是以概率接受新状态，固体在恒定温度下达到热平衡的过程可以用MonteCarlo方法（计算机随机模拟的方法）加以模拟，需大量采样才能得到精确的值。

模拟退火算法也是贪心算法，但是在其过程中引入了随机因素，以一定的概率接受一个比当前解要差的解，并且这个概率随着时间的推移而逐渐降低。

若在温度T，当前状态i—>j

若Ej

在高温下，可接受状态能量差较大的新状态，在低温下，只接受与当前状态能量差较小的状态。

  

模拟退火算法的模型：

模拟退火算法可以分解为解空间、目标函数和初始解三部分。

模拟退火的基本思想:

(1) 初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)，每个T值的迭代次数L

(2) 对k=1, …, L做第(3)至第6步：

(3) 产生新解S′

(4) 计算增量ΔT=C(S′)-C(S)，其中C(S)为评价函数

(5) 若ΔT<0则接受S′作为新的当前解，否则以概率exp(-ΔT/T)接受S′作为新的当前解.

(6) 如果满足终止条件则输出当前解作为最优解，结束程序。

终止条件通常取为连续若干个新解都没有被接受时终止算法。

(7) T逐渐减少，且T->0，然后转第2步。

 

流程图如图1所示。

 

图1.算法流程图

 

　模拟退火算法新解的产生和接受可分为如下四个步骤：

　　第一步是由一个产生函数从当前解产生一个位于解空间的新解；为便于后续的计算和接受，减少算法耗时，通常选择由当前新解经过简单地变换即可产生新解的方法，如对构成新解的全部或部分元素进行置换、互换等，注意到产生新解的变换方法决定了当前新解的邻域结构，因而对冷却进度表的选取有一定的影响。

　　第二步是计算与新解所对应的目标函数差。因为目标函数差仅由变换部分产生，所以目标函数差的计算最好按增量计算。事实表明，对大多数应用而言，这是计算目标函数差的最快方法。

　　第三步是判断新解是否被接受,判断的依据是一个接受准则，最常用的接受准则是Metropo1is准则: 若Δt′<0则接受S′作为新的当前解S，否则以概率exp(-Δt′/T)接受S′作为新的当前解S。

　　第四步是当新解被确定接受时，用新解代替当前解，这只需将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。此时，当前解实现了一次迭代。可在此基础上开始下一轮试验。而当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。

模拟退火算法与初始值无关，算法求得的解与初始解状态S(是算法迭代的起点)无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率l 收敛于全局最优解的全局优化算法；模拟退火算法具有并行性。

如用模拟退火算法，则首先应该解决编号问题。本程序采用以每个工序为基本变量，对每个工序设置一个工序号进行编码，比如上文的举例，则可以将每个工序编号为12345678，表示jop0的第一个工序、第二个工序、第三个工序、……jop2的第二个工序，这种编码方式的好处在于可以保证工件的加工顺序无误，并且方便快捷。如图2所示。

图2.编号示意图

 

在已知初始解或者说是第一个解已经生成的情况下，就可以对这个已知的调度进行模拟退火过程，搜索其邻域的解，查看是否有最优解。其中，在SA（）函数中主体由外循环和内循环组成。外循环即主要更新参数t，模拟退火过程，由Δ控制设置外循环迭代次数，设置终止温度的阈值；内循环则是用于决定在各温度下产生候选解的数目。内部循环则是采用了前面提到的Metropolis抽样稳定准则，寻找在一定温度下的最优值，在查找过程中，如果找到更优值，也就是比当前已经产生的作业车间调度的解的时间更小的解的话，则直接更新当前最优值，并且记录当前程序的甘特图，如果找到比当前更差的解或者说比当前程序差的解，即生成的作业车间调度时间更长，也以一定概率接受该解，但是，发生这种情况的概率会越来越小，趋近于0。如图3所示。

图4-4.内外循环示意图