优化算法1:模拟退火算法思想解析

1.算法简介
模拟退火算法得益于材料的统计力学的研究成果。统计力学表明材料中粒子的不同结构对应于粒子的不同能量水平。在高温条件下,粒子的能量较高,可以自由运动和重新排列。在低温条件下,粒子能量较低。如果从高温开始,非常缓慢地降温(这个过程被称为退火),粒子就可以在每个温度下达到热平衡。当系统完全被冷却时,最终形成处于低能状态的晶体。

如果用粒子的能量定义材料的状态,Metropolis 算法用一个简单的数学模型描述了退火过程。假设材料在状态i之下的能量为E(i),那么材料在温度T 时从状态i进入状态j 就遵循如下规律:
(1)如果E( j) ≤ E(i),接受该状态被转换。
(2)如果E( j) > E(i),则状态转换以如下概率被接受:

eE(i)E(j)KT
其中 K 是物理学中的波尔兹曼常数,T 是材料温度。
总结:
(1)在某一个 特定温度下,进行了充分的转换之后,材料将达到热平衡。
(2)当温度降至很低时,材料会以很大概率进入最小能量状态。

2.模拟退火思想最小值寻优问题
假设目标函数为

minf(x1,x2,...,xn)=i=1mg(x1,x2,...,xn)
要求得这个优化问题的最优解,必须:

给定一个初始温度 T0 ,并初始化一个初始解x(0),并由x(0)生成下一个解 x ,是否接受 x 作为一个新解x(1)依赖于一个概率密度函数(接受新解的概率),若新解大于旧解则以概率1接受新解,若新解小于旧解这个概率则以概率密度函数计算值(通常小于1)接受。

泛泛地说,对于某一个温度 Ti 和该优化问题的一个解x(k),可以生成 x 。接受 x 作为下一个新解x(k +1)为一定的概率。在温度 Ti 下,经过很多次的转移之后,降低温度 Ti ,得到 Ti<Ti+1 。在 Ti+1 下重复上述过程。因此整个优化过程就是不断寻找新解和缓慢降温的交替过程。最终的解是对该问题寻优的结果。

我们注意到,在每个i T 下,所得到的一个新状态x(k +1)完全依赖于前一个状态x(k),可以和前面的状态x(0),…, x(k −1)无关,因此这是一个马尔可夫过程。
如果温度下降十分缓慢,而在每个温度都有足够多次的状态转移,使之在每一个温度下达到热平衡,则全局最优解将以概率1 被找到。因此可以说模拟退火算法可以找到全局最优解。

在模拟退火算法中应注意以下问题:
(1)理论上,降温过程要足够缓慢,要使得在每一温度下达到热平衡。但在计算机实现中,如果降温速度过缓,所得到的解的性能会较为令人满意,但是算法会太慢,相对于简单的搜索算法不具有明显优势。如果降温速度过快,很可能最终得不到全局最优解。因此使用时要综合考虑解的性能和算法速度,在两者之间采取一种折衷。
(2)要确定在每一温度下状态转换的结束准则(实即接受概率计算方法)。实际操作可以考虑当连续m 次的转换过程没有使状态发生变化时结束该温度下的状态转换。最终温度的确定可以提前定为一个较小的值 Te ,或连续几个温度下转换过程没有使状态发生变化算法就结束。
(3)选择初始温度和确定某个可行解的邻域的方法也要恰当。

3.算法步骤
(1)目标函数确定(即代价函数确定)
(2)寻找解空间,并给出一个较好的初始解(Monte Carlo方法),选择初始温度(通常选择为1)
(3)新解的产生:2变换法或者3变换法
(4)代价函数差(新解与旧解之差)
(5)接受准则(接受新解的概率计算法则)
(6)降温:利用选定的降温系数α 进行降温即:T ←αT ,得到新的温度,如取α =0.999
(7)结束条件:用选定的终止温度e = 1030 ,判断退火过程是否结束。若T < e,算法结束,输出当前状态(即得到的最优解)。

你可能感兴趣的:(算法模型,优化模型)