最优化方法 1（交大

最优化方法1: 介绍 （2022重录）_哔哩哔哩_bilibili

 

 交大 许志钦  教授    听课笔记

优化得到的解有一定分析、刻画：一些问题，不同限制条件 得到的解不一样；  优化过程中收敛的速度不同

算法：梯度下降、牛顿法、内敛法、。。

介绍

1. 数学中的优化问题

• 有一些数据、   

Zi  可以是一些变量，如  一张图片在各位置的 强度像素值、或者是向量

yi  可以是类别 如 猫、狗...

• 我们可以用函数来拟合这些数据   如  两层的神经网络
• 目标：当给出input Zi时，希望得到的h和yi 非常靠近，
• 如何严格的刻画目标，可以定义一个目标函数/ 损失函数        均方误差 来衡量模型的准确程度
• 可调参数x     需要学习出的变量
• 测试误差  不知道测试集什么样，所以只能关注已有的训练集上的objective func.

数据拟合问题   转化成了优化问题，

设计、求最值    最后都可以转化成优化问题，

AI本质上就是在设计一个最优函数，    找到一组参数，使目标函数达到最优

解优化问题，

一般非常难，

1.没有理论解，数字求解上也很困难

2.需要时间很长，（次优、最优很难达到。     如  用梯度下降   就看局部的方法，

好解的例子：最小二乘

2.最小二乘和线性规划

 做了k 次测量

n   变量的维度，特征数

x1,...xn权重

Ax就是 的某种线性组合， 就是权重

希望找到一组  ，使得Ax和b是2范数最小，欧式距离，离他最近

参数数目多，样本点少 ；x的范数有些限制、可以增加正则项，比如x的2norm 1norm 最小

 线性规划     目标函数关于变量是线性的、约束也是线性

特殊的优化问题

特点：无解析解

特征是n维的，   特征数不是很多的时候    复杂度n^2 m

 如果高维，碰到一个轴上的点，其他轴都等于0，说明  稀疏性强。1范数

 线性规划不容易识别，

希望 所有误差里最大的误差，把他min。    m是测量数 。          “打地鼠”

实际上  t要取代 max||

3.凸优化

 就是凸函数： “陡峭”，就可以用 导数 来写，越来越陡峭，就说明 导数越来越大，导数单调增--->二阶导>=0

某函数 导数>0, 其为 单调函数，二阶导>0, 一阶导是单调函数，

 

 

4.例子

 灯

功率是以球的形式出去的，表面积，所以到某个位置接受的功率应该是

 

5.非线性优化问题

 

6.简史