机器学习基础（四十五）—— 模拟退火（Simulated Annealing）

模拟退火算法是受物理学领域启发而提出的一种优化算法。所谓的退火是指将合金加热后再慢慢冷却的过程。大量的原子因为受到激发而向周围跳跃，然后又逐渐稳定到一个低能阶的状态，所以这些原子能够找到一个低能阶的配置（configuration）。

退火算法以一个问题的随机解开始。它用一个变量来表示温度，这一温度开始时非常高，而后逐渐变低：

def annealing(..., T=10000., cool=0.95, ...):

    while T>0.1:
        ... 
        T *= cool

退火算法的每一次迭代期间，算法会首先随机地选择某个数字，然后朝某个方向变化。算法最为关键的部分在于，如果新的变化带来的新的成本更低，则新的题解就会成为当前题解，这个爬山算法类似。不过如果成本值更高的话，则新的题解仍将可能成为当前题解（这是不同于爬山算法的地方）。这也是避免出现局部最小值的一种改进。

某些情况下，我们能够得到一个更优的解之前转向一个更差的解是很有必要的。模拟算法之所以管用，不仅在于它总是会接受一个更优的解，而且在退货的开始阶段会（以一定概率）接受表现较差的解。随着退火过程（温度减少）的不断进行，算法越来越不可能接受较差的解。知道最后节点，它将只会接受更优的解。更高成本的题解，其被接受的概率如下：

p=e−(highcost-lowcost)T

T 温度（表示接受较差解的意愿）开始非常高，指数部分接近于0，所以概率几乎为1.随着温度的递减，高成本和低成本值之间的差异越来越重要——差异越大，概率越低。因此此算法只倾向于稍差的解而不会是非常差的解。

# costf：损失函数，step=1. 每次移动的步长（random.randint(-step, step)：往左走，不走，往右走）
def annealing(domains, costf, T=10000., cool=0.95, step=1):

    s0 = [random.randint(domains[i][0], domains[i][1]) for i in range(len(domains))]
    # 外层循环，逐渐退火，降温
    while T>0.1:
        i = random.randint(0, len(domains)-1)
        dir = random.randint(-step, step)
        s1 = s0[:]
        s1[i] += dir
        if s1[i] < domains[i][0]:
            s1[i] = domains[i][0]
        if s1[i] > domains[i][1]:
            s1[i] = domains[i][1]
        c1, c0 = costf(s1), costf(s0)
        if (c1 < c0 or random.random() < pow(math.e, -(c1-c0)/T))
                    # 骤死式语义
            s0 = s1
        T *= 0.95
    return s0

1. 降温方程

⎧⎩⎨⎪⎪⎪⎪T(t)=T01+lntT(t)=T01+t