漫步最优化三十六——基本共轭方向法

用我的眼神，
拍下你的睫毛，
你微笑的嘴角。
你的微笑像毒药，
却洋溢着幸福的味道。
我就是戒不掉，
你粉嫩清秀的外表，
像多汁的水蜜桃。
你亮丽的唇膏，
充盈着自信的骄傲。
就想一直咬着水蜜桃，
看着你的骄傲。
——畅宝宝的傻逼哥哥

上篇文章最后给出的 x∗ 计算公式可以迭代运算，从初始点 x0=0 开始，连续进行 n 次调整 αkdk 。也就是说由关系

xk+1=xk+αkdk

其中

αk=−bTdkdTkHdk

生成一个序列， x0=0 ，当 k=n−1 时收敛到

xn=x∗

从任意初始点 x0 开始都能得到相似的结果，这个事实可以用下面的定理得到证实。

定理1： 如果 { d0,d1,…,dn−1} 是非零共轭方向构成的集合， H 是 n×n 的正定矩阵且问题

minimizex f(x)=a+xTb+12xTHx

是二次的，那么对任意初始点 x0 ，由关系

xk+1=xk+αkdkfor k≥0

其中

αk=−gTkdkdTkHdk

且

gk=b+Hxk

在 n 次迭代后收敛到二次问题的唯一解 x∗ ，即 xn=x∗ 。

证明： 向量 x∗−x0 可以表示成共轭方向的线性组合

x∗−x0=∑i=0n−1αidi

由上篇文章末尾处可知

αk=dTkH(x∗−x0)dTkHdk

根据迭代公式 xk+1=xk+αkdk 可得

xk−x0=∑i=0k−1αidi

所以

dTkH(xk−x0)=∑i=0k−1αidTkHdi=0

显然

dTkHxk=dTkHx0

那么

αk=dTk(Hx∗−Hxk)dTkHdk

又因为

Hxk=gk−b

且在最小点 xk 处 gk=0 ，所以我们有

Hx∗=−b

最后得出

αk=−dTkgkdTkHdk=−gTkdkdTkHdk

接下来令 k=n 可得

xn=x0+∑i=0n−1αidi=x∗

得证。 ||

根据定理1，如果使用不同的方法来生成共轭方向，那么我们就能得到不同的共轭方向法。

基于定理1得到的方法存在许多共同的属性，下面的定理就给出了其中的两个属性。

定理2：

• 梯度 gk 与方向 di,0≤i<k 正交，即
  
  gTkdi=dTigk=0for0≤i<k
• 定理1中的 α=αk 在每条线
  
  x=xk−1+αdifor0≤i<k

上最小化 f(x)

证明： (a)假设

gTkdi=0for0≤i<k(1)

我们需要说明

gTk+1di=0for0≤i<k+1

因为

gk+1−gk=H(xk+1−xk)

并由 xk+1=xk+αkdkfor k≥0 可得

gk+1=gk+αkHdk(2)

因此

gTk+1di=gTkdi+αkdTkHdi(3)

对于 i=k ，我们有

gTk+1dk=gTkdk+αkdTkHdk=0(4)

对于 0≤i<k ，根据等式1可得

gTkdi=0

而且 di,dk 是共轭的，

dTkHdi=0

所以由等式3可得

gTk+1di=0for0≤i<k(5)

结合等式4与等式5可得

gTk+1di=0for0≤i<k+1(6)

如果 k=0 ，那么等式6得出 gT1di=0for0≤i<1 ，从等式1与等式6我们可以得出

gT2digT3digTkdi=0for0≤i<2=0for0≤i<3⋮⋮=0for0≤i<k

(b)因为

gTkdi≡gT(x)di=g(xk−1+αdi)Tdi=df(xk−1+αdi)dα=0

所以 f(x) 在每条线

x=xk−1+αdifor0≤i<k

上都被最小化。

上述定理第二部分的应用就是 xk 在向量 { d0,d1,…,dk−1} 生成的子空间上最小化 f(x) ，那么 xn 就是在向量 { d0,d1,…,dn−1} 生成的子空间(即 En )上最小化 f(x) ，这是另一种表述 xn=x∗ 的方式。