最优化方法(学习笔记)-第六章逼近与拟合

范数逼近和最小范数

观测m$\ge$未知n

范数逼近的定义及解释

• 范数逼近的凸优化问题形式

$$\begin{gathered} \min ||Ax-b|| \\ A\in R^{m\times n},m\ge n,||.||表R^m的范数 \\ solution:x^{\ast }=\arg \underset{x}{\min }||Ax-b|| \end{gathered}$$

• 解释

  就是希望找一个拟合模型(直线),然后衡量它与实际数据点的差距(范数)

  • 几何geometric角度

    设$A=\{a_1,a_2,...,a_n\}$(列空间),那么存在平面$R(A)=\sum _{i=1}^n(a_i{h}_i)$;

    然后$Ax=\tilde{b}$是向量$b$在$R(A)$平面上的投影;

    目的就是找到$\tilde{b}和b$差距最小的$x$.

  • 估计estimation角度

    假设是线性模型:$y=Ax+\epsilon$

    $y$是测量结果,$x$是位置向量,$\epsilon$是测量误差

    利用范数,转变求解问题:$\hat{x}=\arg {\min }_x||Ax-b||$

  • 优化设计角度

    $x$是输入的设计变量,$Ax$是输出的结果;

    最贴近目标$b$的最好设计是$x^{\ast }$

• 例子

  • L2最小二范数least-squares逼近($||.|{|}_2$)

    一般观测独立情况下,经过数据处理总能满足列满秩$rank(A)=n$,存在左逆矩阵$A^L$

    求解一般等式问题:$A^{T}Ax=A^{T}b$

    最优解(伪逆($A^L$)):$x^{\ast }=(A^{T}A{)}^{-1}{A}^{T}b$

  • L∞切比雪夫Chebyshev逼近($||.|{|}_{\infty }$)

    可转变为求解线性规划LP
    

  • L1绝对值和sum of absolute residuals逼近($||.|{|}_1$)

    可转变为求解线性规划LP
    

罚函数逼近

• 求解问题
  

• 罚函数的例子&对比

  • quadratic: $\varphi (u)=u^2$
  • deadzone-linear: $\varphi (u)=\max \{0,|u|-a\}$
  • log-barrier:
    

• 函数图像对比
  

• 罚函数的形式很大程度影响了残差的分布(样本m=100,未知数n=30,$\varphi (u)=||.|{|}_p$)

  $\varphi (u)=|u|,\varphi (u)=u^2,\varphi (u)=max0,|U|-a,\varphi (u)=-\log (1-u^2)$

  [L1]残差的分布集中在零点,但是因为绝对值对大误差的惩罚很小,所以会存在少部分大误差的数据

  [L2]二次函数对小残差的惩罚很小,所以小误差的分布比较散,但是大误差会减少

  [deadzone]边界之内就是free空间

  [log-barrier]没有大于1的残差,但是分布较为均匀,类似L2
  

• Huber罚函数with 参数M
  
  相对比二次函数,线性函数对大误差(离群值)没那么敏感,就是逼近中允许少部分的离群值存在.
  

观测m$\le$未知n

最小范数问题

满足等式条件下,可以获得的最小范数

• 范数逼近的凸优化问题形式

$$\begin{gathered} \min ||x|| \\ s.t.Ax=b \\ A\in R^{m\times n},m\le n,||.||表R^n的范数 \\ solution:x^{\ast }=\arg \underset{Ax=b}{\min }||x|| \end{gathered}$$

• 解释

  • geometric

    $x^{\ast }$是仿射集$\{x|Ax=b\}$里最接近0的点

  • estimation

    $x^{\ast }$是可行域$b=Ax$里最小的点

  • design

    $x$是输入的设计变量,$b$是要求的输出结果;

    $x^{\ast }$是满足要求中最小的设计方案

• 例子

  • L2:等式约束利用拉格朗日函数转变,然后求导得到KKT条件

    $\{\begin{array}{l}2x+A^T\nu =0\\ Ax=b\end{array}$

    得到$\{\begin{array}{l}\nu =-2(A{A}^T{)}^{-1}b\\ x=A^T(A{A}^T{)}^{-1}b\end{array}$

    因为rank(A)=m<=n,所以$A{A}^T$可逆

    $\{\begin{array}{l}\min ||x|{|}_2^2\\ s.t.Ax=b\end{array}$的解是$x^{\ast }=A^T(A{A}^T{)}^{-1}b$

  • L1:可转化为线性规划LP问题,趋向得到稀疏解$x^{\ast }$
    

最小罚函数问题

• 问题定义
  

拟合：用不同的罚函数（使用工具DL去构造），去学习（理解min凸问题）怎么逼近实际数据（分布）

正则化逼近

正则化理解

• 正则化 : 结合范数逼近和最小范数
  

• 解释 : 用最小的x来找最优逼近$Ax\approx b$

  • estimation

    假设线性测量模型$y=Ax+\nu$,其中,先验知识$||x||$要求是尽可能小的

  • optimal design

    小的$x$是满足$y=Ax$中更便宜或更高效的解

  • 稳健逼近

    相比大x,带小x的优良逼近$Ax\approx b$对A中存在的误差更不敏感.

标量化问题

• 把正则化要求用一个公式表示,带有权衡参数$\gamma$
  

Tikhonov regularization

就是标量化问题加上二次方

整合成类似$\min ||\tilde{A}x-\tilde{b}|{|}_2^2$的形式,解是$x^{\ast }=(A^{T}A+\delta I{)}^{-1}{A}^{T}b$

Optimal input design

• 带脉冲信号h的线性动态系统LDS(一维卷积函数)
  

• 输入设计 : 具有3个目标的多准则问题
  

• 正则化最小二范数形式
  

  表现效果:

  • 当$\delta$较大时,输入信号的变化幅度变缓/平滑,输出信号的变化更平滑
  • 当$\eta$较大时,输入信号的大小幅度变小,输出信号的变化更平滑
    

Signal reconstruction信号恢复

• 二次平滑quadratic smoothing
  
  二次平滑平滑噪声和信号中的急剧跃迁
  

• 累积变换平滑total variation smoothing
  
  总变化平滑保留了信号中的急剧跃迁
  

• 最好的拟合效果应该是右边中间那个(也就是下图中的拐点处)
  

稳健/鲁棒逼近

• 带不确定A的优化问题$\min ||Ax-b||$

• 机器学习 : 当我们把ML的模型写成最优化问题 , 求解出来 , 就可以更容易知道数据的偏好 , 及其分布情况
  

stochastic随机

• 假设A是随机的,求$\min \mathbb{E}||Ax-b||$

• Stochastic Robust Least Square Problem
  

  • 其中$P=\mathbb{E}(U^{T}U)$,是正定的,可以开平方/解

  • 对上式的$x$求导并等于0,可以得到
    $$\begin{gathered} 2{\bar{A}}^T\bar{A}x-2{\bar{A}}^{T}b+2Px=0 \\ \tilde{x}=({\bar{A}}^T\bar{A}+P{)}^{-1}{\bar{A}}^{T}b \end{gathered}$$

  • 因此Robust LS等价于LS问题
    $$\min ||\bar{A}x-b|{|}_2^2+||P^{1/2}x|{|}_2^2$$

  • Tikhonov正则化最小问题的另一种解释
    $$当P=\delta I-对角矩阵,\min ||\bar{A}x-b|{|}_2^2+\delta ||x|{|}_2^2$$

worst-case最坏

• A中存在的可能值组成集合$\mathcal{A}$,求$\min {\sup }_{A\in \mathcal{A}}||Ax-b||$

  • 其中${\sup }_{A\in \mathcal{A}}||Ax-b||$就表示最坏误差

• worst-case Robust Least Square Problem
  

  • 假设集合$\mathcal{A}$非空且有界,sup函数对应如下形式
    $$\begin{gathered} \max ||Pu+q|{|}_2^2 \\ s.t.||u|{|}_2^2\le 1 \end{gathered}$$
    $q(x)=\bar{A}x-b$,利用拉格朗日算子
    $$L(u,\lambda )=u^{T}P(x{)}^{T}P(x)u+q(x{)}^{T}q(x)+2q(x{)}^{T}P(x)u+\lambda (u^{T}u-1)$$
    求解变量变成$t,x,\lambda$

  • 根据强对偶转换为
    

  • 因此robust LS等价于SDP问题
    

对比Robust approximation

• [对比] stochastic和worst-case Robust approximation
  

• [对比] 普通LS,Tikhonov LS,Robust LS—残差频数的分布情况
  

总结

• 逼近和拟合的CVX包:

  • CVX-Matlab或者cvxopt-Python
  • 常见模型:sdp;gp…

• 范数逼近

  • 问题:$\min ||Ax-b||$
  • 三个角度(几何,估计,优化设计)解释
  • 例子:L2,L∞,L1
  • 扩展:罚函数逼近$\{\begin{array}{l}\min \varphi (r_1)+...+\varphi (r_m)\\ s.t.r=Ax-b\end{array}$
    • deadzone,log-barrier罚函数
    • Huber罚函数

• 最小范数问题

  • 问题:$\{\begin{array}{l}\min ||x||\\ s.t.Ax=b\end{array}$
  • 三个角度(几何,估计,优化设计)解释
  • 例子:L2,L1
  • 扩展:罚函数逼近$\{\begin{array}{l}\min \varphi (r_1)+...+\varphi (r_n)\\ s.t.Ax=b\end{array}$

• 正则化逼近

  • 正则化问题:$$\begin{gathered} \min (||Ax-b||,||x||) \\ (w.r.t(关于)R_2^{+}) \end{gathered}$$
  • 标量化问题:$\min (||Ax-b||+\gamma ||x||)$
    • 例子
      • Tikhonov regularization
      • Optimal input design
      • Signal reconstruction

• 稳健/鲁棒逼近

  • 问题:$\min ||Ax-b||,A不确定$
  • 逼近方法
    • Stochastic随机
    • Worst-Case最坏

考虑到时间,麻烦的公式以后就不敲了.

Reference

总结
凸优化PPT