最优化算法

姓名：彭帅 学号：17021210850

【嵌牛导读】：最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。现实生活中这类问题是普遍存在的。

【嵌牛鼻子】：最优化算法

【嵌牛提问】：最优化算法和常用优化算法

【嵌牛正文】：

最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。现实生活中这类问题是普遍存在的。例如，工程设计中怎样选择设计参数，使得设计方案既满足设计要求又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产计划安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，降低成本；城建规划中，怎样安排工厂、机关、学校、商店、医院、住户和其他单位的合理布局，才能方便群众，有利于城市各行各业的发展；农田规划中，怎样安排各种农作物的合理布局，才能保持高产稳产，发挥地区优势；军事指挥中，怎样确定最佳作战方案，才能有效地消灭敌人，保存自己，有利于战争的全局；在人类活动的各个领域中，诸如此类，不胜枚举。最优化这一数学分支，正是为这些问题的解决，提供理论基础和求解方法，它是一门应用广泛、实用性强的学科。

最优化在航空航天、生命科学、水利科学、地球科学、工程技术等自然科学领域和经济金融等社会科学领域有着广泛和重要的应用，它的研究和发展一直得到广泛的关注。最优化的研究包含理论、方法和应用。最优化理论主要研究问题解的最优性条件、灵敏度分析、解的存在性和一般复杂性等。而最优化方法研究包括构造新算法、证明解的收敛性、算法的比较和复杂性等。最优化的应用研究则包括算法的实现、算法的程序、软件包及商业化、在实际问题的应用等。

20世纪40年代以来，由于生产和科学研究突飞猛进地发展，特别是电子计算机日益广泛的应用，使最优化问题的研究不仅成为一种迫切需要，而且有了求解的有力工具。因此最优化理论和算法迅速发展起来，形成一个新的学科。至今已出现线性规划、整数规划、非线性规划、几何规划、动态规划、随机规划、网络流等许多分支。

而在实际研究工作和生产实践中存在大量非线性最优化问题，把它们完全简化成线性问题来处理是不妥当的。随着科学技术和计算机的发展，这些实际问题具有这样一些特点：一是问题的变量比较多，因为问题涉及的因素越来越多；二是问题的规模越来越大；三是问题越来越复杂，问题的非线性程度越来越高。这类问题通常描述成在一组非线性约束条件下寻求某一非线性目标函数的最小或最大值。

拟牛顿法是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W.C.Davidon提出。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久，R.Fletcher和M.J.D.Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。

Powell法可用于求解一般无约束优化问题，对于维数n<20的目标函数求优化问题，此法可获得较满意的结果。Powell法有一套完整的理论体系，故其计算效率高于其他直接法。该方法使用一维搜索，而不是跳跃的探测步。同时，Powell法的搜索方向不一定为下降方向。

遗传算法是一种基于自然选择和基因遗传学原理的优化搜索方法，它在计算机上模拟生物的进化过程和基因的操作，并不需要对象的特定知识，也不需要对象的搜索空间是连续可微的，它具有全局寻优的能力。一些用常规的优化算法有效解决的问题，采用遗传算法寻优技术往往能得到较好的效果。