Trust-Region with DogLeg method 信赖域和狗腿法的最优化求解

        刚上研一，我选了一门叫《最优化算法的课》，里面讲到有很多优化的算法，如大家耳熟能详的梯度下降法、牛顿法等等，这些算法大量运用于《数据挖掘》《模式识别》《机器学习》等课程之中，解决一些回归、拟合及模式分类的一些参数优化问题。《最优化计算方法》中讲了很多参数的优化算法，本文主要讲一下“信赖域 with 狗腿法“算法。

    我们遇到的大多数是一些实际的问题，这门课是我们学校数学学院开的，原教材里讲了很多原理推导，我这儿就不再累述了，直接讲算法的框架和运用。

         (1)

 优化算法的目的是：min   f(xk+p)，pk为下降方向。 f(xk+p) 可以用泰勒公式展开为                             

              （2）

   其中 

             

                        下面开始讲算法框架：Trust Region

                                                                                                                                                                                                                                                      

                                                                                                                                                                                                                                            

                                                                                                                                                                                                                                                   

 τ的求法可以根据后面的程序所得

                                                                                                                       

                                                                                                                                                                                                                                          

 程序：                             

clear;clc
x=[0.1 0]';
maxiter = 100;
iter = 1;
trustRegionBound = 10;

while iter < maxiter

    if sum(abs(g(x))) < 0.00001
        break;
    end
    iter = iter + 1;
    du = -g(x)' * g(x) * g(x) / (g(x)' * B(x) * g(x));
    dB = -B(x)^-1 * g(x);
    a = 2;
    if du'*du > trustRegionBound*trustRegionBound;
        a = trustRegionBound / sqrt((du'*du));
    else if dB'*dB > trustRegionBound*trustRegionBound
        a = sqrt((trustRegionBound*trustRegionBound - du'*du) / ((dB-du)'*(dB-du))) + 1;
        end    
    end
    if a < 1
        d = a * du;
    else
        d = du + (a - 1) * (dB - du);
    end
    %更新信赖域
    p = (f(x)-f(x+d))/(q(x,zeros(2,1))-q(x,d));
    if p > 0.75 && sqrt(abs(d'*d) - trustRegionBound) < 0.001
        trustRegionBound = min(2 * trustRegionBound, 10000);
    else if p < 0.25
            trustRegionBound = sqrt(abs(d'*d)) * 0.25;
        end
    end
    if p > 0%q(zeros(2,1),x) > q(d, x)
        x = x + d;
    end
end
function y = q(x,d)
y = d'*g(x) + 1/2*d'*B(x)*d;
end
function y = f(x)
y = 100 * (x(2) - x(1)^2)^2 + (1 - x(1))^2;
end
function y = B(x)
y = [400 * (3*x(1)^2- x(2)) + 2, -400 * x(1);...
    -400 * x(1), 200];
end
function y = g(x)
y = [400 * (x(1)^2 - x(2)) * x(1) + 2 * (x(1) - 1), 200 * (x(2) - x(1)^2)]';
end