优化与求解非线性方程组（单变量问题）

        求函数极值的问题通常被化简为求解导数为0的点的问题。所以优化问题通常与解非线性方程组联系起来。在前面写点估计中的mle时，我们介绍了R中求解方程极值的函数nlm（），optim().

         我们以一元函数f(x)=ln(x)/(1+x)为例求解函数的极值。

f<-function(x) -log(x)/(1+x)      #（1）
optimize(f,c(0,10)) #求解（0,10）上的最小值，对于一元函数区间的确定，我们通常可以画图来做初步判断

对于多元函数：

f <- function(x) sum((x-1:length(x))^2)
nlm(f, c(10,10))#这里需要给出迭代的初值
optim(c(10,10),f)

由于nlm，optim，的默认迭代方法不同，得出的结果精度也会有区别。运行上面的代码，我们可以看到nlm给出的最小值点为（1,2），而optim给出的是(1.000348, 2.001812)。

 

我们也可以通过求解函数的导数为0的点求解函数的极值。还是以1式为例。运行下面的代码：

D(expression(log(x)/(1+x)),"x")

结果为：1/x/(1 + x) - log(x)/(1 + x)^2。                        （2）

对于这样的方程，我们通常是没有好的办法让R给出解析解的。我们可以使用一些数值办法来求解方程（2）的数值解。常用的办法有：二分法，newton法，fisher得分法，不动点迭代法。下面我们来简单介绍算法的思想与R的实现代码。

一、二分法
   二分法的思想十分简单，利用的就是函数的中值定理，局限也十分明显，只能求解出一个根而且速度较慢。所以函数的单调性，作图都是解决第一个局限的办法。

给出方程（1）的极小值利用二分法的求解程序：

fzero<-function(f,a,b,eps=1e-6){
  if(f(a)*f(b)>0)
    list(fail="failed")
  else{
    repeat{
      x<-(a+b)/2     
      if(f(a)*f(x)<0) b<-x else a<-x
      if(abs(b-a)<eps) break
    }
    list(root=(a+b)/2,fun=f(x))
  }
}
fd<-function(x)    1/x/(1 + x) - log(x)/(1 + x)^2
fzero(fd,0,10)

注：跟踪导函数值为0来检测收敛情况是诱人的，但是存在不稳定性，利用绝对收敛准则解决了这一问题（当然用相对收敛准则也是可以的）

二、Newton法

Newton-rapshon迭代是一种快速求根方法。主要利用泰勒级数展开来解决问题。

利用0=g’(x)=g’(x(t))+g’’(x(t))(x-x(t))（后面的等式是近似成立）来近似g’(x)。解上述的这个方程，我们可以得到一个很好的线性近似，迭代方程为：

X(t+1)=x(t)+g’(x(t))/g’’(x(t))

收敛条件依然使用绝对收敛。对于方程（1），有：

> D(expression(log(x)/(1+x)),"x")

1/x/(1 + x) - log(x)/(1 + x)^2

> D(expression(1/x/(1 + x) - log(x)/(1 + x)^2),"x")

-(1/x^2/(1 + x) + 1/x/(1 + x)^2 + (1/x/(1 + x)^2 - log(x) * (2 * (1+ x))/((1 + x)^2)^2))

问题的newton增量为：h(t)=((x(t)+1)(1+1/x(t)-logx(t))/(3+4/x(t)+1/(x(t))^2-2logx(t))

给出方程（1）的极小值利用newton法的求解程序：

h<-function(x){
h=((x+1)*(1+1/x-log(x)))/(3+4/x+1/(x)^2-2*log(x))
}
fone<-function(h,a,eps=1e-15){
b<-0
repeat{
b<-a+h(a)
if(abs(a-b)<eps) {return(b)
break}
else
a<-b
}
}
fone(h,3)

三、Fisher得分法

我们知道fisher信息量是对数似然函数的二阶导数的期望的相反数。所以在求解g对应着的mle优化时，使用fisher信息量替换是合理的。这里不再给出程序。

四、切线法

        在牛顿法的基础上，我们把导数改为曲线上两点的连线的斜率显然也十分的合理。这便是切线法的基本想法。我们还是给出上面例子的R程序：

f0<-function(x){
1/x/(1 + x) - log(x)/(1 + x)^2
}
ftwo<-function(f0,a,b,eps=1e-3){
c<-b-f0(b)*(b-a)/(f0(b)-f0(a))
if(abs(c-b)<eps){
return(c)
}
else{
ftwo(f0,b,c)
}
}

五、不动点迭代法

         除去二分法外，我们所讨论的都是不动点迭代的特例。这里只是简要叙述一下不动点迭代法的原理，并以开篇的例子给出R程序。

         不动点定理是一个结果表示函数F在某种特定情况下，至少有一个不动点存在，即至少有一个点x能令函数F(x)=x。在数学中有很多定理能保证函数在一定的条件下必定有一个或更多的不动点，而在这些最基本的定性结果当中存在不动点及其定理被应用的结果具有非常普遍的价值。

ffour<-function(f0,a,eps=1e-6){
repeat{
b<-4*f0(a)+a
if(abs(b-a)<eps){
return(b)
break}
else a<-b
}
}

         这里还想说一点的就是关于不动点迭代的条件（百度一下，你就知道），如果不满足的话，需要对导函数前乘上一个系数加以调整，本例中的4*f0(a)+a正是调整刻度的结果。