启发式算法：模拟退火算法

爬山算法：

是一种简单的贪心搜索算法，该算法每次从当前解的临近空间中选择一个最优解作为当前解，直到达到一个局部最优解。

该算法实现简单，其主要缺点是会陷入局部最优解。如，按箭头的方向搜索，当达到A点时，无论朝哪个方向小幅度移动都不能得到更优的解。

模拟退火算法

模拟退火算法来源于固体退火原理，是一种基于概率的算法，将固体加温至充分高，再让其冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而逐渐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。

模拟退火是基于Monte-Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解处能够概率性地跳出并最终趋于全局最优。

模拟退火算法是一种通用的优化算法，理论上算法具有概率的全局优化性能。

爬山算法完全是一种贪心算法，每次都是选择一个当前的最优解，因此只能搜索到局部的最优值。模拟退火算法其实也是一种贪心算法，但在搜索过程中引入了随机因素。模拟退火算法以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，到达全局的最优解。仍以上图为例，当搜索到局部最优解A后，会以一定的概率跳到E点，这样便有机会找到全局最优值B点。

以最小化目标函数 f (x) 为例：