智能优化方法导言

最优化的重要性

1. 人类的一切活动都是认识世界和改造世界的过程，即： 认识世界 （建模）→ 改造世界（优化）

2. 一切学科都是建模与优化在某个特定领域中的应用：概念模型(定性) → 结构模型(图) → 数学模型 → 智能模型

3. 最优化理论的发展 :
① 极值理论； 
② 运筹学的兴起(Operation Research)； 
③ 数学规划：线性规划(LP)；非线性规划(NLP)；动态 规划(DP)；马尔可夫规划(MDP)；排队论；决策论；存储论。

4. 最优化理论在国民经济中的广泛应用。

一、传统优化方法的基本步骤——三步曲

1. 选一个初始解：
① LP：大M，二阶段法
② NLP：任意点或一个内点 

2. 停止判据——停止规则最优性检验
①LP：检验数                  当∏≥0时 有可能减小
②NLP：

3. 向改进方向移动——改进解
① LP：转轴变换(进基、退基)
② NLP：向负梯度方向移动(共轭梯度方向、牛顿方向) 

                 三步曲框图

 二、传统优化方法的局限性

1. 对问题中目标函数、约束函数有很高的要求——有显式表达，线性、连续、可微，且高阶可微；
2. 只从一个初始点出发，难以进行并行、网络计算、分布式计算，难以提高计算效率；
3. 最优性达到的条件太苛刻——问题的函数为凸，可行域为凸；
4. 在非双凸条件下，没有跳出局部最优解的能力。

三、实际问题中对最优化方法的要求

1. 对问题的描述要宽松(目标和约束函数)——可以用一段程序来描(程序中带判断、循环)，函数可以非连续、非凸、非可微、非显式；
2. 并不苛求最优解——通常满意解、理想解就可以了；
3. 计算快速、高效,可随时终止(根据时间定解的质量)；
4. 能够处理数据、信息的不确定性(如数据的模糊性，事件的随机性)。

四、智能优化算法的产生与发展

1. 1975年holland提出遗传算法(Genetic Algorithm)
2. 1977年Glouer提出禁忌搜索算法(Tabn Search)
3. 1982年Kirkpatrick提出模拟退火算法(Simulated Annealing)
4. 人工神经元网络（与今天的人工智能密切相关）
5. 1995年Dorigo提出蚁群算法(Ant Colony Optimization)
6. 1995年Kennedy & Eherhart提出粒子群优化(Particle Swarm Optimization)
7. 其它
    ① 文化算法(Cultural Algorithm)
    ② 人工生命算法(Artificial-Life Algorithm)
我们统称以上算法为人工生命计算(Artificial Life Computation)
人工生命计算 + 模糊逻辑 (Fuzzy Logic)=软计算(Soft Computation)
人工生命计算 + 进化编程 = 进化算法 (Evolutionary computation)

五、现代优化算法

1. 现代优化算法又称智能优化算法或现代启发式算法，是一种具有全局优化性能、通用性强、且适合于并行处理的算法。

2. 这种算法一般具有严密的理论依据，而不是单纯凭借专家经验，理论上可以在一定的时间内找到最优解或近似最优解。

3. 待解决的问题
      离散性、不确定性、大规模

4. 现代的优化方法
     启发式算法（heuristic algorithm）
     追求满意（近似解）
     实用性强（解决实际工程问题）

5. 现代的评价方法
     算法复杂性

6. 它们的共同特点：都是从任一解出发，按照某种机制，以一定的概率在整个求解空间中探索最优解。由于它们可以把搜索空间扩展到整个问题空间，因而具有全局优化性能

7. 特点：
    1)不依赖于初始条件；
    2)不与求解空间有紧密关系，对解域无可微或连续的要求；
    3)容易实现，求解稳健;
    4)但收敛速度慢，能获得全局最优；适合于求解空间未知的情况;
    5)SA（Simulated Annealing)，GA可应用于大规模、多峰多态函数、含离散变量等全局优化问题；求解速度和质量远超过常规方法。

六、应用前景、局限性、研究方向和注意事项

1. 应用前景十分广阔——国民经济的各个领域

2. 局限性——不能保证最优解，理论上不完备

3. 研究方向及注意事项
      ① 以应用为主，扩大面向新问题的应用；不要刻意做理论研究，若碰上也不拒绝;
      ② 算法改进表现在以下几个方面：问题的描述、编码方法、算法构造及可行性修复策略;
      ③ 要进行大量的上机计算；
      ④ 算例的选取，以下算例的说服力降序排列：网上的测试用例、文献中的例子、实际例子、随机产生的例子、自己编的例子;
      ⑤ 如何检验算法的好坏：比较计算速度、可解规模、(从不同的随机种子出发)达优率。