模拟退火算法(Simulated Annealing,SA)的全面讲解及python实现

https://blog.csdn.net/Trisyp/article/details/104953406

  1. 抽象来源:美国物理学家Metropolis等人在1953年发表研究复杂系统,计算其中能量分布的文章时,使用蒙特卡洛模拟法计算多分子系统中分子能量分布。Kirkpatrick等人受其启发而发明了“模拟退火”这个名词,它模仿冶金过程中的退火原理,因为寻找问题的最优解(最值)即类似寻找系统的最低能量。因此系统降温时,能量也逐渐下降,而同样意义地,问题的解也“下降”到最值
  2. 核心思想:在冶金退火过程中,退火(annealing)现象指物体逐渐降温的物理现象,温度愈低,物体的能量状态会低,系统内部分子的平均动能逐渐降低,分子在自身位置附近的扰动能力也随之下降,即分子自身的搜索范围随着温度的下降而下降。足够低后,液体开始冷凝与结晶,在结晶状态时,系统的能量状态最低。但是,如果过程过急过快,快速降温(亦称「淬炼」,quenching)时,会导致不是最低能态的非晶形。利用该特性,我们可以对给定状态空间(待求解空间)内的某个状态产生函数(待求解函数)的最值进行求解。在高温状态下,由于分子的扰动能力较强,对较差状态(远离最值所对应的状态)的容忍性高,因此可以在给定状态空间内进行全局的随机搜索,从而有较高概率跳出局部极值。随着温度的逐渐下降,分子的扰动能力减弱,对较差状态的容忍性随之降低,导致此时的全局随机搜索能力下降,相应地对局部极值的搜索能力上升。综合整个退火过程,在理想情况下,最终解应该对应于给定状态空间内的最值。
  3. 物理过程图示:如下图所示,首先(左图)物体处于非晶体状态。我们将固体加温至充分高(中图),再让其徐徐冷却,也就退火(右图)。加温时,固体内部粒子随温升变为无序状,内能增大,而徐徐冷却时粒子渐趋有序,在每个温度都达到平衡态,最后在常温时达到基态,内能减为最小(此时物体以晶体形态呈现)。

4. 最优化过程图示:想象一下如果我们现在有下面这样一个函数,现在想求函数的(全局)最优解。如果采用Greedy策略,那么从A点开始试探,如果函数值继续减少,那么试探过程就会继续。而当到达点B时,显然我们的探求过程就结束了(因为无论朝哪个方向努力,结果只会越来越大)。最终我们只能找到一个局部最后解B。模拟退火其实也是一种Greedy算法,但是它的搜索过程引入了随机因素。模拟退火算法以一定的概率来接受一个比当前解要差的解,因此有可能会跳出这个局部的最优解,达到全局的最优解。以上图为例,模拟退火算法在搜索到局部最优解B后,会以一定的概率接受向右继续移动。也许经过几次这样的不是局部最优的移动后会到达B 和C之间的峰点,于是就跳出了局部最小值B

5. 迭代公式:根据Metropolis准则,系统温度为T时,出现能量差为dE的降温概率为:

      (1)

这条公式就表示:温度越高,出现一次能量差为dE的降温的概率就越大;温度越低,则出现降温的概率就越小。又由于dE总是小于0(因为退火的过程是温度逐渐下降的过程),因此

以该降温概率为基础,采用状态转移概率来表示对较差状态的容忍性:

       (2)

其中,为状态产生函数,因此。常数k通过改变温度T的取值范围而被忽略,即式(1)中的等效于式(2)中的T

注意:在求取最值的过程中,存在两类可接受解:

1)更优解---BS(较当前状态更加接近最值的状态);

2)容忍解---TS(较当前状态更加远离最值的解)。

前者的接受概率为1,后者的接受概率为状态转移概率p(?f),且必须保证p(?f)∈(0,1)

求最小值:

求最大值:

6. 算法简要总结(以求最小值为例):若(即移动后得到更优解),则总是接受该移动;若 (即移动后的解比当前解要差),则以一定的概率接受移动,而且这个概率随着时间推移逐渐降低(逐渐降低才能趋向稳定)相当于上图中,从B移向BC之间的小波峰时,每次右移(即接受一个更糟糕值)的概率在逐渐降低。如果这个坡特别长,那么很有可能最终我们并不会翻过这个坡。如果它不太长,这很有可能会翻过它,这取决于衰减t值的设定。

算法流程:

7. 代码示例:

示例函数(求最大值):

完整代码:

import numpy as np
import matplotlib.pyplot as plt
import random


class SA(object):
    def __init__(self, interval, tab='min', T_max=1000, T_min=1, iterMax=1000, rate=0.95):
        self.interval = interval  状态空间,即解的搜索范围
        
self.T_max = T_max  温度上限
        
self.T_min = T_min  温度下限
        
self.iterMax = iterMax  定温内部迭代次数
        
self.rate = rate  退火降温速度
        
self.x_seed = random.uniform(interval[0], interval[1])
        self.tab = tab.strip()  求解最大值还是最小值的标签:‘min','max'
        
self.solve()
        self.display()

    def solve(self):
        temp = 'deal_' + self.tab
        if hasattr(self, temp):
            deal = getattr(self, temp)  采用反射方法提取对应的函数
        
else:
            exit(">>>tab标签传参有误:'min'|'max'<<<")
        x1 = self.x_seed
        T = self.T_max
        while T >= self.T_min:
            for i in range(self.iterMax):
                f1 = self.func(x1)
                delta_x = random.random()*2-1
                if self.interval[0] <= x1+delta_x <= self.interval[1]:
                    x2 = x1 + delta_x
                else:
                    x2 = x1 - delta_x
                f2 = self.func(x2)
                delta_f = f2 - f1
                x1 = deal(x1, x2, delta_f, T)
            T *= self.rate
        self.x_solu = x1
        self.f_solu = self.func(x1)

    def func(self, x):
        value = np.sin(x**2)*(x**2-5*x)
        return value

    def p_min(self, delta, T):
        probability = np.exp(-delta/T)
        return probability

    def p_max(self, delta, T):
        probability = np.exp(delta/T)
        return probability

    def deal_min(self, x1, x2, delta, T):
        if delta < 0:
            return x2
        else:
            p = self.p_min(delta,T)
            if p > random.random():
                return x2
            else:
                return x1

    def deal_max(self, x1, x2, delta, T):
        if delta > 0:
            return x2
        else:
            p = self.p_max(delta, T)
            if p > random.random():
                return x2
            else:
                return x1

    def display(self):
        print(f'seed: {self.x_seed}\nseed_funtion value: {self.func(self.x_seed)}\nsolution: {self.x_solu}\nfunction value: {self.f_solu}')
        plt.figure(figsize=(6, 4))
        x = np.linspace(self.interval[0], self.interval[1])
        y = self.func(x)
        plt.plot(x,y,'g-',label='function')
        plt.plot(self.x_seed,self.func(self.x_seed),'bo',label='seed')
        plt.plot(self.x_solu,self.func(self.x_solu),'r*',label='solution')
        plt.title(f'solution={self.x_solu}')
        plt.xlabel('x')
        plt.ylabel('y')
        plt.legend()
        plt.show()
        plt.close()

if __name__ == '__main__':
    SA([-5,5],'max')

输出结果:

seed: 2.2204847770394913

seed_funtion value: 6.025576576848058

solution: -4.50428520583421

function value: 42.43890315917159

参考博客网址:

模拟退火算法的原理+应用_小北风的博客-CSDN博客_模拟退火算法原理

模拟退火算法(1) - Python实现 - LOGAN_XIONG - 博客园

其他启发式算法学习推荐:

遗传算法(Genetic Algorithms)的全面讲解及python实现

粒子群(PSO)优化算法(Particle Swarm Optimization)的全面讲解及python实现



模拟退火算法(Simulated Annealing,SA)的全面讲解及python实现-LaoLiulaoliu-ChinaUnix博客

你可能感兴趣的:(Algorithm,python,算法)