机器学习笔记_ 数值最优化_1：最优化条件

无约束问题的极值条件

• minf(x);x∈Rn

• 最优性条件
  -全局最优；局部最优；
  -局部最优（一阶必要条件）： 设 x∗是f(x)的一个局部极小点的条件是g(x∗)=0
  -局部最优（二阶必要条件）： 设 x∗是f(x)的一个局部极小点的条件是G(x∗)=0

*方向导数：
设 xk是经k步迭代后得到的迭代点，dk是xk在xk使f(x)下降的方向，αk>0是沿k的步长,则第k+1个迭代待是

xk+1=xk+αkdk
满足： f(xk+1)<(fxk)

• 求解：
  使得f(x)下降的方向是： f(xk+αkdk)<f(xk)
  将 f(xk+αkdk)在xk点展开可得
  f(xk+αd)=f(xk)+αgTkd+O(||αd||2)
  =>
  下降方向d满足： gTkd<0

• 迭代算法关键: 步长+方向

  • 线性搜索 :线性搜索是 xk 点求得下降方向 dk ,再沿着 xk 确定步长 αk
  • 信赖域方法：先 αk ，后 dk

• 终止准则： f(xk+1−f(xk)) 足够小

• 收敛性和收敛速度(二次和超线性收敛快)

  1. limk−>∞||xk−x∗||=0

  2. 线性收敛： 0<a<1
     limk−>∞||xk+1−x∗||||xk−x∗||=a

  3. 上式 a=0，则为超线性

  4. 二次线性收敛： a是任意常数

     limk−>∞||xk+1−x∗||||xk−x∗||2=a

步长：线性准则

设: 当前点为 xk , 搜索方向是 dk , 视为 α的函数−h(α)
h(α)=f(xk+αdk),α>0

当 α=0，h(0)=f(xk)
导数： ▽h(α)=f(xk+αdk)Tdk

当 xk和dk给定情况 ，寻找最小值
α=argminα>0h(α)=argminα>0f(xk+αdk)

=>等价于，若h( α )可导，则局部最小 α是
h′(α)=▽f(xk+αdk)Tdk=0 （理想情况）

• 方法：
  
  1. 二分查找
  2. 回溯线性查找
  3. 插值法

步长： 信赖域算法

• 信赖域中任务 qk(d) 是 f(xk+d) 的好的近似

• 选择信赖域->选择方向和步长
  参看博客：http://www.codelast.com/?p=7488

• 牛顿法无法保证收敛性(特别hessian是非正定的情况)，提出TRUST-REGION算法，
  保证收敛

在足够小的区域能 qk(d) 代替二阶近似 f（xk+d）

qk(d)=fk+gTkd+12dTGkd

等价于
minqk(d)

s.t.||d||≤△k,▽k>0