LM(列文伯格-马夸尔特)方法的个人理解，以及实现问题
前言
LM方法是适用于求解方程最小值的一种方法，在非线性优化的框架中，优化方法分为Line Search 和 Trust Region，也就是线搜索和信任域方法，它们是两种不同性质的方法。
不同之处:
LIne Search:不管当前迭代点X(k)到最优解X*之间的路径，每次迭代X(k)得到X(k+1),都是使用该点的反向梯度方向进行值得寻找，这就导致了这样一种可能得问题：‘在靠近X*的时候，X(k)反复震荡，不容易收敛。这种情况特别是会发生在固定迭代步长的时候，Eg:对于求解f(x)=x^2的最优解X*,当X(k)=0.01,而迭代步长为1的时候，这个时候下一个X(k+1)=-0.01，如此这就发生了震荡，无法收敛。这确实是特例，但是只要有这种情况存在，也就是我们能够找出一个情况算法有问题，我们就无法保证所需要优化的函数f(x)不存在这种性质。
代表:梯度下降法，牛顿法，高斯牛顿法。
Trust Region:对于当前迭代点X(k)，我们会找出一个合适的迭代区域||D(X(k+1)-X(k))||<=hk,hk>0，下一个X(k+1)产生于该区域内，然后寻找这个区域的内最佳的迭代向量dX(k)。同时uk会根据每次的X(k)来计算调整，这就i是信任域的普遍思想。
代表:LM法。
LM法的个人理解
具体的实现方法我不做说明，网络上已经有很多人进行了详细的介绍。
这里转载一个我认为没有问题的他人的博客。https://www.codelast.com/%e5%8e%9f%e5%88%9blm%e7%ae%97%e6%b3%95%e7%9a%84%e5%ae%9e%e7%8e%b0/
这里需要说明的是，很多博主在描述到LM具体算法实现的伪代码描述时，大多会混淆拉格朗日乘子
和信任域hk这两个参量。导致在说到具体实现的时候逻辑不清，在应该让h(k+1)=2*h(k)的时候，说成h(k+1)=h(k)/2。
下面来说明一下算法和LM思想原理之间的对应关系:
高斯牛顿法优化目标是
，利用求导数为0，我们得到
,但是这个要求
必须是可逆矩阵，要求较为严格。
而LM算法优化目标是
,因为约束条件的h(k)是迭代变化的，为了保证公式一致性，把约束条件改写成
是加了约束条件的优化目标.利用拉格朗日乘子法进行转换成无约束目标
，令
。
采用拉格朗日乘数法确实需要解出不同情况下对应的*，但是在LM法中进行了这样的操作，把看成常数，相等于把问题转化成了数学建模中的规划问题，约束条件的权重为
,而高斯牛顿法优化目标为
,当
时，两者同比重，也就是总优化目标同时考虑到了两者。这样我们就可以减少求解乘子的步骤，得到最终的迭代向量
，特别的当D为单位矩阵
时，表示信任域是一个球。
接下来讲述关键问题，也就是如何迭代u(k).
LM定义了这样一个比值参量
,表征了实际下降量与一阶微分量（也就是近似下降量)的比值。
在算法伪代码中有这么一个判断:
如果
,那么h(k+1)=h(k)/2,也就是减小信任域，此时在具体的算法中u(k+1)=2*u(k)；
如果
,那么h(k+1)=2*h(k),也就是增大信任域，此时在具体的算法中u(k+1)=u(k)/2；
这其中的逻辑关系从LM迭代公式可以知道，因为如果实际下降比一阶近似小很多，那么表示二阶以上分量占了比较大的比重，这个时候非线性比较严重，那么就应该缩小信任域，u(k)增大，而
的模长变小，也就是变化较小了。同理可说明另外的情况。
最后说明一下如果u(k)的迭代搞混了，也就是之前提到的，该增大的时候变小了，而该变小的时候增大了，这个时候会出现的问题。
最容易遇到的问题就是
迭代过小，通过查看的模长||||
2^(-k)，就是同一个数量级，而且收敛于非最优解，过早收敛了。产生这种情况的逻辑在于:当某一次迭代过程得到,本该u(k+1)=u(k)/2,但是搞混的情况下u(k+1)=2*u(k),下次的迭代将会变得更小，因为u(k+1)=2*u(k)等价于信任域变小了。另外
，这样一次比一次的迭代小了，而且还是指数变小，那么就会使得目标在非最优解上收敛。通过修改程序上的正常逻辑，我们可以验证这样的情况。
最后附上LM算法的matlab程序
链接：https://pan.baidu.com/s/1_3AF-ZRkU9DPlcgxoMY-DA
提取码：z7y8
复制这段内容后打开百度网盘手机App，操作更方便哦