【最优化理论】01-最优化理论基础

文章目录

  • 大纲
  • 基础概念
    • 最优化问题一般形式
      • 无约束最优化问题
      • 约束最优化问题
    • 可行点
    • 可行域/集
    • 无约束问题
    • 最优解
  • 数学基础
    • 向量范数
    • 范数等价性
    • 矩阵范数
      • 矩阵范数性质
    • 序列极限
      • 聚点
      • Cauchy序列
    • 连续&可微
    • 梯度
    • 稳定点(Stationary Point)
    • 鞍点(Saddle Point)
    • Hesse矩阵
      • 例:二次函数
    • Taylor展开式
    • Jacobi矩阵
    • 链式法则
    • 隐函数定理

大纲

【最优化理论】01-最优化理论基础_第1张图片

基础概念

最优化问题一般形式

【最优化理论】01-最优化理论基础_第2张图片

无约束最优化问题

【最优化理论】01-最优化理论基础_第3张图片

约束最优化问题

【最优化理论】01-最优化理论基础_第4张图片
当目标函数和约束函数均为线性函数时,问题称为线性规划。
当目标函数和约束函数中至少有一个是变量x的非线性函数时,问题称为非线性规划。

根据决策变量、目标函数和要求的不同,最优化还分成了整数规划、动态规划、网络
规划、非光滑规划、随机规划、几何规划、多目标规划等若干分支。

本书主要研究求解无约束最优化问题(1.1.2)和约束最优化问题(1.1.3)的理论和方法,其中第三章至第七章研究无约束最优化问题,第八章至第十三章研究约束最优化问题,第十四章研究非光滑优化问题。

可行点

在线性规划与非线性规划中,满足约束条件的点称为可行点。

可行域/集

全体可行点组成的集合称为可行集或可行域。

无约束问题

如果一个问题的可行集是整个空间。那么此问题就称为无约束问题。

最优解

【最优化理论】01-最优化理论基础_第5张图片
【最优化理论】01-最优化理论基础_第6张图片

数学基础

向量范数

【最优化理论】01-最优化理论基础_第7张图片

范数等价性

【最优化理论】01-最优化理论基础_第8张图片

矩阵范数

在这里插入图片描述

【最优化理论】01-最优化理论基础_第9张图片

【最优化理论】01-最优化理论基础_第10张图片

矩阵范数性质

【最优化理论】01-最优化理论基础_第11张图片

序列极限

【最优化理论】01-最优化理论基础_第12张图片

【最优化理论】01-最优化理论基础_第13张图片

聚点

在这里插入图片描述
根据定义易知,如果无穷序列有界,即存在正数M,使得对所有k均有|x(2)||≤M,则这个序列必有聚点。

Cauchy序列

在这里插入图片描述
在这里插入图片描述

连续&可微

【最优化理论】01-最优化理论基础_第14张图片

梯度

在这里插入图片描述

稳定点(Stationary Point)

梯度为0的点。

鞍点(Saddle Point)

既不是极小值点,也不是极大值点的驻点。

Hesse矩阵

在这里插入图片描述

例:二次函数

Taylor展开式

【最优化理论】01-最优化理论基础_第15张图片
在这里插入图片描述

Jacobi矩阵

【最优化理论】01-最优化理论基础_第16张图片

链式法则

【最优化理论】01-最优化理论基础_第17张图片
在这里插入图片描述

隐函数定理

【最优化理论】01-最优化理论基础_第18张图片
在这里插入图片描述

你可能感兴趣的:(最优化理论,最优化理论)