第十四章 全局搜索算法

14.1 引言

全局搜索算法可在整个可行集上开展搜索，以找到极小点。这些方法只计算目标函数值，而不需要求导。一般可作为牛顿法等方法的初始点。某些方法还可用于求解组合优化问题。

14.2 Nelder-Mead单纯形法

单纯形：在n维空间中引入n+1个点构成的几何形状，满足：

这一条件的含义为R中的两个点不重合，中的三点不共线，以此类推。因此中的单纯形是一条线段，的单纯形是一个三角形，的单纯形是一个四面体。
针对函数，首先选择n+1个点，使其构成一个初始单纯形。构建方式为，选定初始点,
按照以下格式产生其他点：

是一组单位向量，即空间R的标准基。初始单纯形确定之后，接下来就是一步步对其进行修改，使得 产生的单纯形能够朝着函数极小点收敛。在每次迭代中，都要针对单纯形的每个点计算目标函数值。对于函数最小化的优化问题而言，目标函数值最大的点将被另外的点代替。 持续开展这一迭代过程，直到单纯形收敛到目标函数的极小点。

14.3 模拟退火法

模拟退火是随机搜索方法。是在优化过程中随机采样逐步搜索的方法。

朴素随机搜索算法主要问题是可能会卡在局部极小点。模拟退火则通过设计搜索方式，使算法接受某个比当前点更差的点，以爬出局部极小点。

14.4 粒子群优化算法

。粒子群优化算法与 14.3 节中讨论的随机搜索方法存在一个主要区 别:在一次迭代中，粒子群优化算法并不是只更新单个迭代点 ，而是更新一群(组)迭代点，称为群。群中每个点称为一个粒子。可以将群视为一个无序的群体，其中的每个成员都在移动，意在形成聚集，但移动方向是随机的。粒子群优化算法旨在模拟动物或昆虫的社会行为，如蜂群、鸟群和羊群等的形成过程。

14.5 遗传算法