凸优化随笔

凸优化的应用十分十分广泛

投资组合中：最大化收益函数，然后列出一些限制条件。
工程控制中
最优控制理论
医疗图像中：
压缩感知

工程学博士的核心：最优化理论，设计一个东西，使其满足要求并最优
计算数学博士的核心：将现代数学知识应用到具体的算法

个人思考的最优化理论来源，第3此工业革命也就是大概前30年左右的时间，信息技术爆炸性增长，电气系统设计中需要的各种最优化促使数学家去研究这些应用数学，然后经过做工程的人的推广，形成了现在的这种最优化理论。这在历史上发生过了无数次了，数学自身的不断抽象，自身的发展被做工程的人拿来做成了实际应用，而反逼做数学的人去更进一步的发展理论

最小二乘

判别一个优化问题是否是最小二乘问题十分简单。
只需要检验目标函数是否是二次函数，（然后检验此二次函数是否半正定）

现在的算法发展，如果能够将某个问题转换为凸优化问题，我们就能迅速有效的求解。
如果某个实际问题可以表述为凸优化问题，那么事实上已经解决了这个问题

线性规划

很多问题可以转化为线性规划，比如说

非线性优化问题（局部最优）：

现在一般而言都放弃了寻找全局最优的方法，转而寻找局部最优解。
比如DNN就是一个非线性优化问题，所以才会需要调整算法的参数，选取一个足够好的初始点。

局部最优问题中，我们可以将非凸问题近似为凸优化问题，通过求解近似凸问题，得到近似问题的精确解。然后用凸问题的精确解作为局部算法优化的初始值，求解原始非凸问题。
这个厉害了，如果说能够用凸问题来求解变分EM算法的初始值问题，那么说不定就能够得到更优估计。

启发式算法来解决非凸优化，随机算法，粒子群算法，搜索满足一定条件的稀疏向量

全局最优：

在寻找系统的最差参数中经常会用到，因为如果证明了系统在最差的参数下也可以稳定运行，那么就说明了整个系统能够稳定运行。

所以。量子计算机的出现可能打破现有的优化算法，使得非线性优化最优问题得到天文数字般的性能提升。

在全局最优时，经常将原函数转换成为需要给出最优解的下届，计算代价较小。

拉格朗日对偶理论 KKT最优性条件