机器学习中的优化方法小结
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文转自：视学算法
前几天听了林宙辰老师的一个报告，讲的是机器学习中的优化方法[1]，做个笔记。推荐机器学习的人去听听。林老师的主页：https://zhouchenlin.github.io/zhouchenlin.github.io
机器学习是离不开优化方法的，Pedro Domingos这样概括机器学习和优化方法的关系：
“Machine learning=Representation+Optimization+Evaluation”
后面三项对应于三步：建立模型，求解模型，验证模型。
一、机器学习中的优化问题
首先介绍一下机器学习中常见的优化问题：
1.分类回归问题
很多的分类回归问题都可以写成问题（1）的一个特例，比如SVM，正则的logistic回归，多层感知器，线性回归，岭回归，Lasso问题等。
2.AdaBoost
通常数据的分类面可能是很复杂的，我们可以通过多个简单的线性分类器组合而成。
3.生成对抗网络
4.AutoML
自动超参数的选取，这是一个双层优化问题。
二、算法的阶数
根据所需要的信息，算法大概分为三种：零阶、一阶、二阶。
1、零阶：只涉及到 ，适用于函数形式不知道，求不了导数；梯度不存在或者很难计算的情况，比如强化学习。
2、一阶：需要用到函数值 和梯度值 ,更一般情况下，可以将函数的proximal 算子也纳入到一阶中。
3、二阶：需要用到函数值 和梯度值 以及Hessian信息 。
机器学习中，一阶用的是最广泛的。当然也不排除有零阶和二阶的，这适用于那些具有特殊结构的问题。
三、机器学习中的优化算法
1.基本模块：
通常的优化算法主要有以下几个模块，将这些模块以不同的方式组合一下就得到了不同的优化方法。
1、梯度下降： ，前向运算，也叫forward operator。
2、临近算子： ，后向运算，也叫backward operator。
3、对偶：当原问题不好解，或者计算量比较大，可以考虑对偶问题。
4、randomization：当问题（1）的 较大或者变量维度较大，可以考虑随机梯度或者坐标下降。
上面的四个模块在不同的拼接下就形成了很多现有的优化算法。
2.机器学习中的无约束优化算法
考虑无约束问题：
假设函数 是光滑的（如果不光滑，我们可以用次梯度，光滑化等）
梯度下降
共轭梯度
当目标函数是二次的时候，选出来的方向 是共轭方向。
拟牛顿
是 处Hessian矩阵逆的近似，需要满足 ,主要有两类近似：秩1和秩2近似。
L-BFGS
上面说到的逆牛顿需要存储一个大的矩阵 ,考虑到他是秩1或秩2近似，因此我们可以通过存储一些向量来代替。
临近梯度算法
考虑可分问题：
其中 光滑， 为非光滑。临近梯度算法对光滑的那部分做二次近似，每一步求解如下问题：
该算法需要假设对于g的proximal operator是容易计算的。
3.机器学习中的约束优化方法
考虑一般问题：
其中 是一个约束集合。
投影梯度方法
首先走一个梯度步，然后投影回去。
罚方法
通过罚参数将约束集放到目标函数上，其中 要满足一些条件：连续非负，以及 当且仅当 。该方法依赖于罚参数。
条件梯度
其中需要 是一个紧集（欧氏空间下等价于有界闭集）。方向 的求解相当于对函数 做泰勒一次展开。这个算法适用于稀疏低秩问题，这时候 可能是一个低秩范数球，这时候关于 的求解有很高效的算法。
ADMM
当约束是线性约束并且可分的时，可以采用ADMM，考虑问题：
对应的增广拉格朗日函数为：
ADMM算法交替的去更新增广拉格朗日函数中的三个变量：
如果对于 还是不好求，我们可以对后面的二次项做线性化，得到线性化的ADMM。
坐标下降方法
如果问题中的变量可以分为多块，比如：
这种情况下可以采取块坐标下降方法：本质上是交替极小的一个扩展。
4.大数据的处理
考虑如下形式的问题：
随机梯度
找到一个近似的方向 近似梯度，只要满足 即可。有很多的变种，adam，adagrad，adadelta，ada...
四、加速算法
通常情况下的加速策略都是利用内插和外推。
1.确定
Heavy ball
后面那一项称为Momentum。
Nesterov
加速临近梯度
将Nesterov加速应用到了非光滑的可分问题（2）上：
2.随机
考虑问题：
我们可以用梯度方法： , 如果n太大，每一步的计算量太大。
接着我们采用最初的随机梯度方法： ，也就是一次选一个去走。
这两个方法似乎都是一种极端，所以中间存在一种tradeoff。思考如何做到在降低variance的情况下计算量不要增长的太快。
SVRG
这个方法的思想就是，每隔一段时间算一次完整梯度，用这个信息去矫正每一步的随机梯度方向。
Katyusha
这个方法是Nesterov加速和variance reduction的结合。（这个名字取得真是让人摸不着头脑，包括下面的Catalyst，还有一个方法SARAH）
Catalyst
注意到第三步，你可以使用任何一个可以计算的方法去求解第三步中的问题
SPIDER
这个相对于SVRG方差更小。
五、展望
大规模优化的展望主要有这几点：
随机化
分布式
异步
learning based
Quantum
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
