最优化算法汇总，及计算实例20220621（持续更新中）

目录

0.最优化问题分类，求解方法分类

1. 最优化问题分类（线性规划与最小二乘法的关系）

1.1 请问什么才是线性规划，什么是线性回归呢？

1.2 线性规划与最小二乘法的关系

2.最小二乘法（解决线性）

3. 最速下降法（又名  梯度下降法、最速下降法）（解决无约束问题）

3.1 主要迭代公式

3.2 实例1：

3.3 实例2

4. 牛顿法（牛顿迭代法）

5. 拉格朗日乘数法（等式约束优化问题）

6. KKT条件（不等式约束优化问题）

---

0.最优化问题分类，求解方法分类

最优化问题综述_斜杠老A的博客-CSDN博客_最优化问题

1. 最优化问题分类（线性规划与最小二乘法的关系）

目标约束函数
最优化问题也称为规划问题。
如果最优化问题的目标函数为f(x)，约束条件为gi(x)≥0，i=1，2，…，m则：
当f(x)和gi(x)均为线性函数时，称此最优化问题为线性规划；
当f(x)和gi(x)不全为线性函数时，称此最优化问题为非线性规划；
当f(x)为二次函数，而gi(x)全为线性函数时，称此最优化问题为二次规划。
变量的类型
对于最优化问题，如果变量x=(x1，x2，…，xn)T的各分量只能取整数，则相应的最优化问题称为整数规划。
如果变量x=(x1，x2，…，xn)T 的部分分量只能取整数，则相应的最优化问题称为混合整数规划。
如果变量x=(x1，x2，…，xn)T 的各分量只能取0和1，则相应的最优化问题称为0-1规划。

1.1 请问什么才是线性规划，什么是线性回归呢？

请问什么才是线性规划，什么是线性回归呢？_百度知道

线性规划是运筹学的一个重要分支，研究线性约束条件下线性目标函数的极值问题的数学理论和方法。 线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

1.2 线性规划与最小二乘法的关系

线性规划是：求满足约束的最优目标，目标是变量的线性函数，约束是变量的等式或者不等式。

最小二乘法和线性规划
1.最小二乘法问题
最小二乘问题是一个无约束的优化问题和一个是形式项的平方和的目标

2.解决最小二乘法问题
最小二乘法问题的解可以简化为求解一组线性方程

最小二乘法其实就是用来做函数拟合的一种思想

3.线性规划
线性规划：求满足约束的最优目标，目标是变量的线性函数，约束是变量的相等或不等表达式。

最小二乘法和线性规划这两种分别代表一种最优化思想。
————————————————

最全最详细-线性规划(最小二乘、正交回归、梯度下降、仿真)_ningzian的博客-CSDN博客_线性规划方程公式详解

标题叫的有点问题，线性规划是有约束的，最小二乘、梯度下降都是无约束优化问题。

2.最小二乘法（解决线性）

主要参考来源，讲的很详细，强烈推荐：

①：从最简单的一元一次推导讲到二元

如何理解最小二乘法？_马同学图解数学的博客-CSDN博客_最小二乘法

②推导比较复杂的最小二乘法求解公式

最小二乘法_THE@JOKER的博客-CSDN博客_最小二乘法

这个里面讲了最速下降法和牛顿法

数值优化| 最速下降法与牛顿型方法 - 知乎

3. 最速下降法（又名  梯度下降法、最速下降法）（解决无约束问题）

主要来源：

最速下降法解析（理解笔记）_晓晨的博客的博客-CSDN博客_最速下降法

还可以看的资料

什么是梯度下降法？ - 知乎

3.1 主要迭代公式

其中为xk处的梯度，是一个向量，不是矩阵。||gk||是向量的模，也就是每个元素平方之和再求平方根。

备注：上式中，怎么找到一个最优步长tk，使得目标函数f(xk+tk*pk)最小呢？（xk与pk是已知值，上一步的值）

有两个方法

①简单粗暴的直接给 tk=0.1，或者觉得收敛太慢 那就tk=0.3。总之给个定值，收敛速度可能无法保证。

②寻找最优的tk。     此时，此问题转化为求目标函数f关于tk的极值问题，也就是将xk（已知）、pk（梯度，已知）、tk（未知）代入目标函数f(xk+tk*pk)，得到第k补 只关于tk的f(tk)

接着 求 d f(tk)/d tk=0时的解tk0，也就是当tk=tk0时，f(xk+tk*pk)取得极值。

3.2 实例1：

3.3 实例2

 

4. 牛顿法（牛顿迭代法）

可以看这个里面的过程

最优化-牛顿法（Newton）_michaelhan3的博客-CSDN博客

牛顿法迭代公式如下：

5. 拉格朗日乘数法（等式约束优化问题）

详细推导和实例可以看

拉格朗日乘数法，解决多元不等式的核武器

具体推导看

6. KKT条件（不等式约束优化问题）

 含有单个不等式约束的优化问题，这里面例题很经典

【第四章 最优化理论】4.2 带约束最优化 - 知乎

多个不等式约束的最优化问题，帮助理解

简单介绍KKT条件 - 哔哩哔哩
 

既有等式约束，也有不等式约束的优化问题，帮助理解

不等式约束的优化问题 - 知乎