Dogleg“狗腿”最优化算法

近期刚学习了dogleg狗腿最优化算法，老师给出了一个大体的框架并给出了一个练习，让我们用程序去实现它，鉴于本人刚刚开始接触最优化，对MATLAB语言的使用也很生疏，在网上查阅了大量的资料，一个通宵把算法写出来，并在matlab中得到了验证。

老师给出的练习为 ,。Dogleg狗腿算法是信赖域算法中的一个subproblem，其主要用来求d向量，也就是搜索方向。在写代码的时候，发现老师给出的框架当中，没有涉及到 的取值，在查阅了很多资料之后，知道 的取值与 和 和信赖域的取值有关，具体的关系会在程序中体现。此外，在代码程序中，最困扰的我是程序对函数的普适性，只要给出一个函数，代码会自动的进行，而不是需要人为地把函数各个变量的系数先算出来。代码如下：

主程序(demo_dogleg)：

%programed by Lu Qi,UCAS
%my email:[email protected]
global syms x y
pars.f_x_y=100*(y - x^2).^2 + (1 - x)^2;
pars.dfdx=diff(pars.f_x_y,x,1);
pars.dfdy=diff(pars.f_x_y,y,1);
pars.df2dxdy=diff(pars.dfdx,y,1);
pars.df2dx2=diff(pars.dfdx,x,1);
pars.df2dy2=diff(pars.dfdy,y,1);
pars.trustRegionBound=10; %信赖域
pars.tao=2;               %tao的初始化
pars.x0=[-9 -9]';         %初始点的坐标
[x_final,num_iter]=dogleg(pars);
fprintf('x_final= \n');
[m, n] = size(x_final);
for i = 1 : m
    for j = 1 : n
        fprintf('%8.4f', x_final(i, j));
    end
    fprintf('\n');
end
fprintf('num_iter=%d',num_iter);

其中，在程序中，前半部分，也就是在dogleg函数之前的代码，是用来求函数的一次偏导和二次偏导，所以如果想求不同的函数，可以仅仅改变pars.f_x_y的值。

下面是实现dogleg算法的程序(dogleg)：

function [x_final,i]=dogleg(pars)
global syms x y
%programed by Lu_Qi

temp=pars.x0;
temp_x=temp(1);
temp_y=temp(2);

calculate;

fan_g_x=sum(abs(pars.g_x));
tao=pars.tao;   
i=1;
while(1)
    if(fan_g_x<=0.00001)
        break
    end
    fprintf('iter=%d\n',i);
    d_u=pars.g_x'*pars.g_x/(pars.g_x'*pars.b_x*pars.g_x);
    d_u=-d_u*pars.g_x;
    d_b=inv(pars.b_x);
    d_b=-d_b*pars.g_x;
    
    if d_u'*d_u > pars.trustRegionBound*pars.trustRegionBound;  
        tao = pars.trustRegionBound / sqrt((d_u'*d_u));  
    else if d_b'*d_b > pars.trustRegionBound*pars.trustRegionBound  
        tao = sqrt((pars.trustRegionBound*pars.trustRegionBound - d_u'*d_u) / ((d_b-d_u)'*(d_b-d_u))) + 1;  
        end
    end
    
    if tao <=1  && tao >= 0
        d_tao = tao * d_u;  
    else if  tao <=2  && tao >= 1
        d_tao = d_u + (tao - 1) * (d_b - d_u);  
        end  
    end
    
    p=((f_x_result(pars,temp_x,temp_y,d_tao))/(q_x_result(pars,d_tao)));
    if p > 0.75 && abs(d_tao'*d_tao)==pars.trustRegionBound 
        pars.trustRegionBound = min(2 * pars.trustRegionBound, 3);  
    else if p < 0.25  
            pars.trustRegionBound = sqrt(abs(d_tao'*d_tao)) * 0.25;  
        end  
    end 
    
    if p > 0  
        temp = temp + d_tao;  
    end
    temp_x=temp(1);
    temp_y=temp(2);
    calculate;
    fan_g_x=sum(abs(pars.g_x));
    i=i+1;
end
x_final=temp;

dogleg的程序中包含了如下三个小函数：

calculate函数，用来求在某一坐标下的g(x)和b(x)的值：

%calculate g_x b_x
old={x,y};
new={temp_x ,temp_y};
pars.g_x=[subs(pars.dfdx,old, new);subs(pars.dfdy,old, new)];
pars.b_x=[subs(pars.df2dx2,old, new) subs(pars.df2dxdy,old, new);
          subs(pars.df2dxdy,old, new) subs(pars.df2dy2,old, new)

f_x_result函数用来求两点的差值：

function result=f_x_result(pars,temp_x,temp_y,d)
%
global syms x y
old={x,y};
new={temp_x ,temp_y};
result=subs(pars.f_x_y,old, new);
new={temp_x+d(1),temp_y+d(2)};
result=result-subs(pars.f_x_y,old, new);

q_x_result函数用来求近似情况下两点的差值：

function result=q_x_result(pars,d_tao)
%
result=-(d_tao'*pars.g_x+0.5*d_tao'*pars.b_x*d_tao);

这样整个程序就完成了，测试后的结果为：

由于本人在菜鸟一个，刚刚进入研究生的门槛，难免在程序的思路上出现错误，还请大家多多指教，也可以邮件进行交流，共同进步。我的邮箱是[email protected]，谢谢大家斧正。