最优化方法(学习笔记)-第一章最优化简介

数学表达最优化问题

例子引入

• 输入：$\{{(z_i,y_i)}_{i=1}^N\}$
• 函数拟合：假如是在两层神经网络的$ReLU=>\sigma (z)=max(0,z)$
  就是用函数$h(z)=\sum _{j=1}^M{a}_j\sigma (w_{j}z+b_j)$去拟合
• 目标：希望输出和采样尽可能接近$min{f}_o(x)$
  $f_o(x)=\frac{1}{N}\sum _{j=1}^N(h(z_j)-y_j{)}^2$
  $x=\{(a_j,w_j,b_j){\}}_{j=1}^M$
  • 参数不可以随意取
  • 可以使用限制$subjectto{f}_j(x)\le b_j，j=1,....m$

规范的最优化问题

• $x$:optimiation的变量
• $f_0$:目标函数（拟合的准确度）
• $f_i$:constrant function 限制条件（参数范围，先验知识等）
• $optimizedsolution{x}^{\ast }:f_0(x)$最小并且满足限制条件

解优化问题

一般优化问题

• 很难解
• 最优解耗时间，最优性和时间的权衡

特殊的优化问题（短时间有效找最优）

最小二乘least-square

例子：求$min||Ax-b|{|}_2^2=L2范数的平方=min\sum (a_{i}x-b_i{)}^2$

• $A\in R^{k\times n}，k:样本数，n:特征数，x\in R^{n\times 1}变量，b\in R^{k\times 1}观测值，A=(a_1,a_2,....,a_n)$
• $Ax=(a_1{x}_1+a_2{x}_2+....+a_n{x}_n)是由\{a_i{\}}_{i=1}^n张成的空间中的一个向量$
• 也就是把b投影(垂直)到A空间剩下的量最小$⟹A^T(Ax-b)=0⟹A^{T}Ax=A^{T}b⟹x=(A^{T}A{)}^{-1}{A}^{T}b$
• 特点：易识别，增加正则项$||x|{|}_2^2，||x|{|}_1$

线性规划LP

数学规范：$min{C}^{T}x，s.t{a}_i^{T}x\le b_i(i=1,.....m)$

• 有解析体
• 有可靠有效的算法
• 计算量是$O(n^{2}m)(allowm>n)$
• 成熟的解题方式
• 不容易识别
• 正则项
  例子：求$min\underset{1\le i\le m}{\max }|a_{i}x-b_i|\Downarrow$
  变化为：$mint，s.t\{\begin{array}{l}{a}_{i}x-b_i\le t\\ a_{i}x-b_i\ge t\end{array}$

凸优化问题

数学规范：$min{f}_0(x)，s.t{f}_i(x)\le b_i(i=1,.....m)$
目标函数与限制函数均为凸函数$⟹f(\alpha x+\beta y)\le \alpha f(x)+\beta f(x)(\alpha +\beta =1，\alpha \ge 0，\beta \ge 0)$
例如：$最小二乘||Ax-b|{|}_2^2或者LP问题C^{T}x$

• 无理论解
• 可靠有效的方法
• $O(max\{n^3,m{n}^2,F\})，F是f_i函数的求导（一阶和二阶）$
• 广泛的技术（趋势）
• 非常难识别
• 很多技巧
• 很多问题都可以转化为凸优化问题

非线性优化问题

一般的处理是有折衷的

局部最优方法

• 离初值近的局部最小值
• 计算快，适合大规模
• 需要依赖初值
• 无法提供解与全局最优的距离

全局最优方法

• 计算时间长，系统参数+，指数级+
• 找全局解
• 转化基于凸优化问题的方法求解

凸优化简史

• 算法
  • 1900-1920：起初起源
  • 1947：LP
  • 1960：早期的内点法
  • 1970s：椭球法，次梯度
  • 1980s：多项式时间的内点
  • to now：非线性凸优化问题
• 应用
  • 1980：运筹学和少量工程
  • 1990：大量的工程问题

单纯是为了记笔记，如若有拼写错误等，跪请大神指出！也欢迎交流讨论。