机器学习中的优化问题

参考书：MLAPP

机器学习中，从监督学习到非监督学习、从线性回归到聚类降维，最终都转化成求解一个优化问题。本文从数学角度记录机器学习中的优化问题，内容包括优化问题类型、求解算法、应用，这其实对应着：

1. 定义问题—>模型
2. 解决问题—>算法
3. 应用

1.目标函数的类型

机器学习常用最小化损失函数的思想求解参数，其优化问题对应：
$$\underset{\theta \in \Theta }{\min }L(\theta )$$
不同的$L$和变量空间$\Theta$确定了不同的优化模型，而模型的特征和性质决定了解的存在性、判断最优解和求解的方法。

• 无约束优化VS有约束优化
  假设$\Theta$是整个${\mathbb{R}}^D$，那么相当于可以在整个D维空间上搜索解，无需考虑范围限制，这时对应的是无约束优化。
  假设$\Theta \subset {\mathbb{R}}^D$，那么需要考虑目标变量的搜索范围，这时对应的是约束优化。

上图可知，有无约束对于解的存在性和求解方法非常重要。

• 凸优化VS非凸优化
  假设目标函数$L$是凸函数，并且参数空间$\Theta$是凸集，那么模型就是凸优化模型，否则即为非凸模型。
  
  凸优化是一类性质非常好的模型，理论十分完善。由于凸优化的局部最优就是全局最优，所以求解凸优化时只需要找到局部最优解即可。
  而非凸优化不仅不能保证局部解就是全局解，还存在一类非常特殊的鞍点，使得梯度下降陷入局部解无法继续下降。

• 光滑优化VS非光滑优化
  假设目标函数$L$满足一定的光滑条件，比如拉普拉斯光滑条件$$|L(x)-L(y)|\le a|x-y|$$就称为一阶光滑。
  
  优化问题常用梯度下降，对于非光滑的目标函数，无法求得梯度，因此需要用到别的方法求解，比如下一节提到的次梯度下降等。

2.求解算法

2.1 一阶方法

一阶方法是指在求解过程中用到了目标函数的一阶梯度（次梯度）信息。

梯度下降

迭代格式：
$${\theta }_{t+1}={\theta }_t+{\eta }_t{d}_t$$

• 下降方向：使得目标函数减少的$d_t$，即$L({\theta }_{t+1})<L({\theta }_t)$
• 步长：每次走的步长${\eta }_t$,步长的选取十分关键，选的太小导致迭代次数过多收敛太慢，选的太大容易错过最优点，它的选择叫learning rate schedule，内容可以单独写出一章，常用的选择方法：
  • 常数
  • 线性搜索
• 收敛性：衡量算法是否适用就是看它是否收敛以及收敛速度是多少，梯度下降一般能到线性收敛
• 加速方法：
  • momentum
    指数平均的思想，将之前的信息汇总，都反映到这次的下降方向中，越靠前的信息影响越小
    $$\begin{gathered} m_t=\beta m_{t-1}+g_{t-1} \\ {\theta }_t={\theta }_{t-1}-{\eta }_t{m}_t \end{gathered}$$
  • nesterov momentum
    

2.2 二阶方法

二阶方法指用到了目标函数的二阶导数信息。

牛顿法

迭代格式：
$${\theta }_{t+1}={\theta }_t-{\eta }_t{H}_t^{-1}{g}_t$$
其中$H_t$是二阶hessian矩阵

拟牛顿法（BFGS)

实践中，求解二阶hessian矩阵十分耗时，一般会对二阶hessian矩阵进行近似，按照不同的规则，有不同的近似方法，常用的是BFGS：

信任域方法

2.3 随机方法

之前的目标函数都是确定性的，无随机变量，但在实际机器学习中目标函数中会有随机变量：
$$L(\theta )={\mathbb{E}}_{q(z)}[L(\theta ,z)]$$

随机梯度下降

每步迭代格式：
$${\theta }_{t+1}={\theta }_t-{\eta }_t{g}_t$$
其中$g_t={\nabla }_{\theta }L({\theta }_t,z_t),z_t\sim q(z)$
例如在样本数N，损失函数$l(y,f(x))$的损失最小化优化模型中：
$$L({\theta }_t)=\frac{1}{N}\sum _{n=1}^{N}l(y_n,f(x^{(i)},{\theta }_t))$$

• 方向$g_t$
  如果每次用到N个样本去更新参数，就是批量梯度下降
  如果每次只用一个样本更新参数，就是SGD
• 步长
  为保证收敛，一般要求Robbins-Monro conditions
  
  还有其他的learning rate schedule

preconditioned SGD

迭代格式：
$${\theta }_{t+1}={\theta }_t-{\eta }_t{M}_t^{-1}{g}_t$$
其中$M_t^{-1}$就是preconditioned矩阵，它不一定涉及二阶导数信息

• AdaGrad ($M_t=diag(s_t+ϵ{)}^{1/2}$)
  
  其中
  由此可算出每步迭代的变化量：
  
• RMSProp \ AdaDelta
  
  每步更新量：
  
  更简单的Adadelta
  
  
• Adam
  
  每步更新量：
  
• $M_t$非对角

2.4 求解有约束优化

• 拉格朗日乘子法
• proximal gradient descent
  思想：将约束通过惩罚函数写成成目标函数
  对于非光滑的目标函数，如果能把目标函数写成复合函数：
  $$L(\theta )=L_s(\theta )+L_r(\theta )$$
  其中$L_s$光滑，$L_r$非光滑，则可用PGD算法更新参数：
  )
  其中
  

2.5 bound optimization

有时候求解原目标函数比较困难，退一步求解一个它的下界，这个下界要满足几个条件：

• 它的最优解好求
• 它和原目标函数相差不大，最好能衡量两者的差距

这样的函数称为surrogate function，满足
$$Q(\theta ,{\theta }_t)\le L(\theta ),Q({\theta }_t,{\theta }_t)=L({\theta }_t)$$
每步转而求解

• EM
  目标函数：
  
  
  
  定义：
  
  

2.6 blackbox和derivative-free

2.7 贝叶斯优化