[工程优化]共轭方向法(Conjugate direction method)的共轭梯度法(Conjugate gradient method)实现【附python代码】

---

引用

Wikipeidia:Conjugate gradient method

Preliminaries

梯度与梯度下降

1. 对于一维函数$f(x)$，其导数定义为：
   $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
2. 对于多维函数$f(x_1,...,x_n)$，对$x_i$求导数$\frac{df}{d{x}_i}$，将其记为偏导数$\frac{\partial f}{\partial x_I}$。特别的，记录梯度$▽f(x)$或简记为$▽f$为对$x_i$求偏导后的列向量：
   $$g(x)=▽f(x)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_1}{)}^T$$
3. 梯度下降

参见：[工程优化]梯度下降(Gradient descent):SGD/BGD

矩阵(半)正定

设有$x^{T}Ax$对 $\forall x=(x_1,\cdots ,x_n{)}^T$都有$x^{T}Ax>0$，则称矩阵$A$是正定矩阵；若都有$x^{T}Ax\ge 0$，则称其为半正定矩阵。

同时，若一个矩阵$A$正定，则$A$的特征值均为正数(半正定则为大于零的数)，一定存在逆矩阵$A^{-1}$。

线性方程组

设有对称、正定矩阵$A\in {\mathbb{R}}^{n\times n}$和非零列向量$x,b\in {\mathbb{R}}^n$满足$Ax=b$，称其为一个线性方程组(System of Linear Equations)。将其唯一解记为$x^{\ast }$。

正交向量

若非零列向量$a,b\in {\mathbb{R}}^n$满足$a^{T}b=0$，则将这两个向量互为正交向量。当其正交，则其在空间上互为垂直的两个向量。

Tip：亦有文献将其称为直交。

共轭方向及共轭方向组

1. 如果对于非零列向量$u,v\in {\mathbb{R}}^n$存在 $n\times n$ 对称、正定矩阵$A$使得：
   $$u^{T}Av=0$$则称$u,v$为关于$A$的共轭方向。

众所周知，矩阵可以看作是一种运动、映射，当$u,v$关于$A$共轭时，实际上是值当$u,v$经过对称正定矩阵$A$的运动之后在空间上互相垂直(正交)。
特别的，当$A$取得单位阵时，实际上下文提到的二阶拟合函数就是一个圆球，共轭方向为过圆心且互相垂直的若干组直径。

2. 设对于非零向量$p_i，p_j\in \hat{p}=\{p_1,\cdots ,p_n\}$ 且 $p_i,p_j\in {\mathbb{R}}^n$，若$p_i^{T}A{p}_j=0$ $(i≠j)$，则称$p_1,\cdots ,p_n$是关于$A$相互共轭的一组共轭方向组。

引理：非0共轭方向组显然线性无关。(可用反证法证明)
证明：设有一组标量${\alpha }_i$使得$\sum {\alpha }_i{p}_i=0$，则$\forall k,p_k\in \hat{p}=\{p_1,\cdots ,p_n\}$，有：
$$\begin{array}{rl}{p}_k^{T}A\sum {\alpha }_i{p}_i& =0\\ {\alpha }_k{p}_k^{T}A{p}_k& =0\end{array}$$

∵ 矩阵$A$正定有 $p_k^{T}A{p}_k>0$，$\therefore {\alpha }_k=0$

牛顿法(Newton’s method)

牛顿法是对二阶泛函的近似求解。

Ref：[工程优化]牛顿法的缺陷及拟牛顿法(Newton’s method)

由于共轭方向法同样采用了用二次泛函拟合函数极值微分点的做法，因此理解牛顿法对理解共轭方向法及其有效性有直接帮助。

换句话说，一般情况下，在极值点附近，原目标函数可以近似于一个二次函数。当我们对二次函数建立一个有效的模型，那么，它对非二次模型也应当是有效的。（ps:要注意，不是所有函数都可以很好地用二次函数拟合。）

>返回目录

---

共轭方向法

共轭方向法是一种介于梯度下降法和牛顿法之间的算法，它不像牛顿法一样需要二阶导数，又避免了梯度下降中的锯齿现象。

从几何出发说明共轭方向法的有效性

注：这一小节偏向白话，是比较形而上的理解内容。可以选择性阅读。

考虑$n$维空间上的二次函数$\varphi (x)$，它应当是一个超椭球体：
$$\begin{array}{rl}\varphi (x)\approx f(x)& =\frac{1}{2}{x}^{T}Ax+b^{T}x+c\\ ▽\varphi (x)& =Ax+b^T\\ {▽}^2\varphi (x)& =A\end{array}$$

其中，$f(x)$是原目标函数在极值点处的二阶拟合、矩阵$A\in {\mathbb{R}}^n$对称且正定。在此基础上，我们从几何出发，来说明共轭方向法的有效性。

补充：一般情况下，在极值点附近，原目标函数可以近似于一个二次函数。当我们对二次函数建立一个有效的模型，那么，它对非二次模型也应当是有效的。（但是，不是所有函数都可以很好地用二次函数拟合。）

共轭方向的理解

对于共轭方向，在上文中提到它其实是正交的一种变形。在正交方向$a,b\in {\mathbb{R}}^n$上当沿着方向$a$移动时，就意味着在$b$方向上不会发生任何位移。例如$a=(0,1{)}^T$和$b=(1,0{)}^T$、$c=(1,1{)}^T$，$a$与$c$不正交，当在$a$上移动时，实际上在$c$方向上也发生了移动；但$b$方向则不会。

空间的扭曲
现在，存在一个扭曲的空间，我们把这个扭曲的运动记为$A\in {\mathbb{R}}^n$，$u^{T}Av=0$，
例如对上文中的$a,b,c$向量，$A=((-1,1),(1-1))$时，会发现$a^{T}A=(1,-1)$，$a$向量被扭曲(旋转)到了与$c$相垂直的方向上：

而超椭球体实际上就是当$A$不为单位矩阵时的偏球体，它在若干个“正交基”上所下降的尺度经过$A$的扭曲，因此使用共轭方向可以还原出这种“正交”属性。

避免锯齿现象

梯度下降的最大问题在于锯齿现象的诱因：当沿着某个方向下降时已经找到了某个维度的极小点，而下一次下降又会破坏该维度的极小点，从而使得搜索路径来回震荡，不断处于“找到某一维度极小点-破坏该维度极小点”的恶性病态循环过程中。

在上文中，提到了在正交方向上，沿着某个正交方向移动在其它正交方向上不会产生位移。而这就避免了梯度下降的恶性病态过程。(下文中会证明共轭方向法$n$步收敛，实际上也是这个理解一个体现)

>返回目录

---

共轭方向法的数理基础

上一小节简单理解了共轭方向法在几何上的理解，下面要开始介绍共轭梯度的效率和与工程优化的结合方式。

共轭方向法的效率

共轭方向法对于$n$阶对称正定矩阵$A$(即$n$维优化目标)，理论上至多只要$n$次迭代就能得到最优解。

• 这种性质被称为二次收敛性。

证明:

1. 采用二次泛函 $\varphi (x)=\frac{1}{2}{x}^{T}Ax+b^{T}x+c$ 拟合 $f(x)$，记迭代点的更新公式为：$x^{(t+1)}=x^{(t)}+{\lambda }^{(t)}{p}_{(t)}$(该更新方式的有效性将在下文中证明)， $t=0,1,2,\cdots ,n$，则只需证明至多到 $n$ 步时 $g_{(n+1)}=0$。其中，$g_{(i)}$是函数在第$i$个迭代点处的梯度：$g_{(i)}=A{x}^{(i)}+b^T$、${\lambda }^{(t)},p_{(t)}$分别为其下降步长和共轭方向。
2. 若对$1\le i\le n$，使得$g_{(i)}≠0$(否则此时原命题已成立)，则需补证:
   $$\begin{array}{rl}{g}_{(n+1)}& =g_{(n)}+{\lambda }_{(n)}A{p}_{(n)}\\ & =g_{(1)}+\cdots +{\lambda }_{(k)}A{p}_{(k)}+\cdots +{\lambda }_{(n-1)}A{p}_{(n-1)}+{\lambda }_{(n)}A{p}_{(n)}\\ & \underset{1\le k\le n}{=}{g}_{(k+1)}+\sum _{i=k+1}^n({\lambda }_{(i)}A{p}_{(i)})\\ p_{(k)}^T{g}_{(n+1)}& =p_{(k)}^T{g}_{(k+1)}+p_{(k)}^T\sum _{i=k+1}^n({\lambda }_{(i)}A{p}_{(i)})\end{array}$$
3. 其中，任取$1\le k\le n$，根据一维搜索的性质(会在下文进行证明)，都有：$g_{(k+1)}^T{p}_{(k)}=p_{(k)}^T{g}_{(k+1)}=0$。
4. ∵ 根据共轭方向组的性质有 $p_{(i)}^{T}A{p}_{(j)}=0,(i≠j)$
5. ∴ $p_{(k)}^T{g}_{(n+1)}=0$ 即 $g_{(n+1)}=0$ 得证。

一维搜索的性质：共轭方向法的算法理论基础

上一小节中提到了——根据一维搜索的性质可以得到：
$$g_{(k+1)}^T{p}_{(k)}=p_{(k)}^T{g}_{(k+1)}=0$$

实际上这个式子可以进一步进行泛化，即当($1\le i\le t$):
$$g_{(t+1)}^T{p}_{(i)}=p_{(i)}^T{g}_{(t+1)}=0$$

证明：
记一维搜索 $\underset{{\lambda }_{(t)}\ge 0}{\min }f(x^{(t)}+{\lambda }_{(t)}{p}_{(t)})$，当搜索结束时，此时驻点的梯度为0，因此有$▽f(x^{(t)}+{\lambda }_{(t)}{p}_{(t)})=g_{(t)}=0$。
显然，当$k<t$，必有$▽f(x^{(t)}+{\lambda }_{(t)}{p}_{(t)}{)}^T{p}^{(k)}=0$，即$g_{(t)}^T{p}_{(i)}=p_{(i)}^T{g}_{(t)}=0$得证。

• 这个式子将在下文中进行广泛应用，它直接说明了一个问题，由一维搜索得到的步长能够使得下一迭代点的梯度与之前所有的共轭方向正交。
• 同时，该式子也是共轭梯度法的理论基础。

>返回目录

---

共轭方向法的共轭梯度法(Conjugate gradient method)实现

共轭方向法与共轭梯度法的关系

共轭方向法是共轭梯度法的基础，后者是对前者的一种实现。

• 在下文中，共轭方向法试图找到一组共轭的方向使得优化目标$n$步内收敛(满足二次收敛性)。而共轭梯度法则根据梯度来构建这一组共轭方向。换句话说，共轭方向法是算法的框架抽象类，而共轭梯度法则是其实现类。

由梯度构造一组共轭方向

现在，要构造一组$p_{(i)}$使得其关于矩阵$A$共轭，以使得上上小节推定的$n$步之内下降到驻点的算法效率必要条件得以成立。

1. 给定$x^{(0)}$及初始方向向量$p_{(0)}=-▽\varphi (x^{(0)})≠0$。
2. 令$p_{(t+1)}=-g_{(t+1)}+{\alpha }_{(t)}{p}_{(t)}$使得$p_{(t+1)}$与$p_{(t)}$互成关于$A$的共轭方向。其中$\alpha$是一个待定系数。
3. 根据向量共轭的定义，有：
   $$\begin{array}{rl}{p}_{(t+1)}^{T}A{p}_{(t)}& =-g_{(t+1)}^{T}A{p}_{(t)}+{\alpha }_{(t)}{p}_{(t)}^{T}A{p}_{(t)}\\ & =0\end{array}$$

调整等号两边的式子得到：
$${\alpha }_{(t)}=\frac{g_{(t+1)}^{T}A{p}_{(t)}}{p_{(t)}^{T}A{p}_{(t)}}$$

该方法为 Daniel 在1967年提出，该方法构造的方向向量组合是关于$A$的共轭方向组可由数学归纳法证明。

此处由数学归纳法还可以得到一个较为重要的结论，该方法得到的迭代点具有以下性质：$g_{(i)}^T{g}_{(t+1)}=g_{(t+1)}^T{g}_{(i)}=0,1\le i\le t$，即各个迭代点的梯度互相正交。该式子将被用于求$\alpha$的等价形式中。

① 先证明 $g_{(t)}^T{g}_{(i)}=0，1\le i\le t-1$:
由数学归纳法，显然$t=1$时成立，假设$t=k-1$时成立，欲证$t=k$时成立：
$$\begin{array}{rl}{g}_{(k)}^T{g}_{(i)}& =(-g_{(k-1)}+{\lambda }_{(k-1)}A{p}_{(k-1)}{)}^T{g}_{(i)}\\ & =-g_{(k-1)}^T{g}_{(i)}+{\lambda }_{(k-1)}{p}_{(k-1)}^{T}A{g}_{(i)}\\ & =0+{\lambda }_{(k-1)}{p}_{(k-1)}^{T}A{g}_{(i)}\\ & ={\lambda }_{(k-1)}{p}_{(k-1)}^{T}A{g}_{(i)}\end{array}$$

∵ 由求共轭方向组的方法可知：$p_{(n+1)}=-g_{(n+1)}+{\alpha }_{(n)}{p}_{(n)}$，代入上式:
$$\begin{array}{rl}{g}_{(k)}^T{g}_{(i)}& ={\lambda }_{(k-1)}{p}_{(k-1)}^T{g}_{(i)}\\ & ={\lambda }_{(k-1)}{p}_{(k-1)}^{T}A(-p(i)+{\alpha }_{(i-1)}{p}_{(i-1)})\\ & =0\end{array}$$∴ 命题证明完毕。

② 接着证明 $p_{(t)}^{T}A{p}_{(i)}=0，1\le i\le t-1$：
同样由数学归纳法，推导前序步骤，接着证明：
$$\begin{array}{rl}{p}_{(k)}^{T}A{p}_{(i)}& =(-g_{(k)}+{\alpha }_{(k-1)}{p}_{(k-1)}{)}^{T}A{p}_{(i)}\\ & =-g_{(k)}^{T}A{p}_{(i)}\end{array}$$

∵ 由求共轭方向组的方法可知：$g_{(n+1)}-g(n)={\lambda }_{(n)}A{p}_{(n)}$，同时结合①的结论，代入上式：
$$\begin{array}{rl}{p}_{(k)}^{T}A{p}_{(i)}& =-g_{(k)}^{T}A{p}_{(i)}\\ & =-g_{(k)}^T(\frac{g_{(i+1)}-g_{(i)}}{{\lambda }_{(i)}})\\ & =0\end{array}$$∴ 命题证明完毕。

基于共轭梯度法的共轭方向法迭代求解

用在工程优化上，其迭代求解的思路大致如下：

1. 给定$x^{(0)}$及初始方向向量$p_{(0)}=-▽\varphi (x^{(0)})$，当$g(x^{(t)})<ϵ$ 时算法结束；否则重复步骤2~5。
2. 一维搜索$\min \varphi (x^{(t)})$，得到${\lambda }_{(t)}$。
3. 迭代点的更新公式为：$x^{(t+1)}=x^{(t)}+{\lambda }_{(t)}{p}_{(t)}$。
4. $g_{(t)}=A{x}^{(t)}$, 则 $g_{(t+1)}-g_{(t)}={\lambda }_{(t)}A{p}_{(t)}$。
5. 更新方向向量$p_{(t+1)}=-g_{(t+1)}+{\alpha }_{(t)}{p}_{(t)}$，其中：${\alpha }_{(t)}=\frac{g_{(t+1)}^{T}A{p}_{(t)}}{p_{(t)}^{T}A{p}_{(t)}}$。

α的几种等价形式
根据上文的推断，已知：
$${\alpha }_{(t)}=\frac{g_{(t+1)}^{T}A{p}_{(t)}}{p_{(t)}^{T}A{p}_{(t)}}\cdots ①$$

$$A{p}_{(t)}={\lambda }_{(t)}(g_{(t+1)}-g_{(t)})\cdots ②$$

$$p_{(i)}^T{g}_{(t+1)}=g_{(t+1)}^T{p}_{(i)}=0,1\le i\le t\cdots ③$$

$$g_{(i)}^T{g}_{(t+1)}=g_{(t+1)}^T{g}_{(i)}=0,1\le i\le t\cdots ④$$

由①②得到①的变形(Sorenson-Wolfe,1972)：
$${\alpha }_{(t)}=\frac{g_{(t+1)}^T(g_{(t+1)}-g_{(t)})}{p_{(t)}^T(g_{(t+1)}-g_{(t)})}\cdots ⑤$$

由③④⑤得到①的变形(Myers,1972)：
$$\begin{array}{rl}{\alpha }_{(t)}& =-\frac{g_{(t+1)}^T{g}_{(t+1)}}{p_{(t)}^T{g}_{(t)}}\\ & =-\frac{{||g_{(t+1)}||}_2}{p_{(t)}^T{g}_{(t)}}\end{array}\cdots ⑥$$

将$p_{(t)}=-g_{(t)}+{\alpha }_{(t-1)}{p}_{(t-1)}$代入⑥，注意到$p_{(t-1)}^T{g}_{(t)}=0$，得到①的等价形式(Flecher-Reeves,1964)：

$${\alpha }_{(t)}=\frac{{||g_{(t+1)}||}^2}{{||g_{(t)}||}^2}\cdots ⑦$$

Tips：该等式易记好求，在下文的代码中也使用这种形式。

同样，由⑤和⑦得到①的变形(Polyak-Polak-Ribiere,1969)：
$${\alpha }_{(t)}=\frac{g_{(t+1)}^T(g_{(t+1)}-g_{(t)})}{{||g_{(t)}||}^2}\cdots ⑧$$

>返回目录

---

与梯度下降法的比对

对 $f(x_0,x_1)=x_0^2+x_1^2$，分别进行梯度下降和共轭方向下降，结果如下：

核心代码如下：

def cd_alg(x_init, epsilon=1e-1, m_lambda=0.01):
    xt = x_init
    gt = grad(xt)
    pt = -gt
    costs = [cost(xt)]

    while abs(gt[0]) > epsilon or abs(gt[1]) > epsilon:
        xt1 = xt.T + m_lambda*pt  # 此处简单使用定步长替代一维搜索
        gt1 = grad(xt1)
        alpha_t = alpha(gt1, gt)
        pt1 = -gt1 + alpha_t*pt

        current_cost = cost(xt1)
        costs.append(current_cost)

        xt = xt1
        gt = gt1
        pt = pt1
    return costs, xt

完整代码见此：Conjugate Direction vs. Gradient Descent
运行算法发现，在同样的收敛精度和下降步长下，共轭方向法只用了12次就完成了收敛，而梯度下降法则用了20+次。

非二次模型泛化能力

在>Preliminaries<中，我们提到：

在极值点附近，原目标函数可以近似于一个二次函数。当我们对二次函数建立一个有效的模型，那么，它对非二次模型也应当是有效的。

下面对$f(x_0,x_1)=x_0^2+\sin (\pi x_1)$尝试使用共轭方向法进行优化：

# 修改上文给出的代码
f = lambda x: np.power(x[:, 0], 2) + np.sin(np.pi*x[:, 1])  # 给定新的非二次目标函数 
def grad(x):
    gx0 = 2 * x[:, 0]
    gx1 = np.pi* np.cos(np.pi*x[:, 1])  # 求取新的梯度
    return np.array([np.sum(gx0), np.sum(gx1)]).reshape((2, 1)) 

可以看到，共轭方向法依旧表现出了超越梯度下降法的效率。