智能优化算法

智能优化算法要解决的一般是最优化问题。 最优化问题可以分为（1）求解一个函数中，使得 函数值最小的自变量取值的函数优化问题和（2）在一个解空间里面，寻找最优解，使目标函数值最小的组合优化问题。典型的组合优化问题有： 旅行商问题（Traveling Salesman Problem，TSP），加工调度问题（Scheduling Problem），0－1 背包问题（Knapsack Problem），以及 装箱问题（Bin Packing Problem）等。

优化算法有很多，经典算法包括：有线性规划，动态规划等；改进型局部搜索算法包括 爬山法， 最速下降法等，本文介绍的 模拟退火、 遗传算法以及 禁忌搜索称作指导性搜索法。而神经网络，混沌搜索则属于系统动态演化方法。

优化思想里面经常提到邻域函数，它的作用是指出如何由当前解得到一个（组）新解。其具体实现方式要根据具体问题分析来定。

一般而言，局部搜索就是基于贪婪思想利用 邻域函数进行搜索，若找到一个比现有值更优的解就弃前者而取后者。但是，它一般只可以得到“局部极小解”，就是说，可能这只兔子登“登泰山而小天下”，但是却没有找到珠穆朗玛峰。而模拟退火，遗传算法，禁忌搜索，神经网络等从不同的角度和策略实现了改进，取得较好的“全局最小解”。