Sherman-Morrison-Woodburg 定理

接触到这个定理的缘由是碰到矩阵秩一校正的问题，下面给出定理的内容。
定理
设 A 是 n×n 非奇异矩阵， U 是 n×m 矩阵， C 是 m×m 非奇异矩阵， V 是 m×n 矩阵，如果 C−1+UA−1V 非奇异，那么 A+UCV 也是非奇异的，且

(A+UCV)−1=A−1−A−1U(C−1+UA−1V)−1VA−1

1.证明：

U+UCVA−1U=UC(C−1+VA−1U)=(A+UCV)A−1U

(A+UCV)−1UC=A−1U(C−1+VA−1U)−1

现在：

A−1=(A+UCV)−1(A+UCV)A−1=(A+UCV)−1(I+UCVA−1)=(A+UCV)−1+(A+UCV)−1UCVA−1=(A+UCV)−1+A−1U(C−1+VA−1U)−1VA−1

这个定理有一个有用的推论以及应用，下面我们稍微介绍一下。
推论
（Sherman-Morrison 定理）设 A∈Rn×n 是非奇异矩阵， u,v∈Rn 是任意向量，若 1+vTA−1u≠0 ,那么 A 的秩一校正 A+uvT 非奇异，且其逆矩阵为

(A+uvT)−1=A−1−A−1uvTA−11+vTA−1u

在拟牛顿法的应用
定理经常在无约束最优化问题的拟牛顿法中，用来求解一个核心的方程的根。具体的说，给定一个向量值函数 f:Rn→Rn ,利用牛顿法求解 f(x)=0 的一个近似解，是通过如下的迭代：

xk+1=xk−J(xk)−1f(xk)

其中 J 表示 f 的雅可比矩阵，当然有时候 J 的性质可能并不是很好，我们通常对它进行一些校正，设 Ak 是 J(xk) 的近似，在第(k+1)步迭代中，我们令

Ak+1=Ak−ukvk

其 uk,vk 的选取是使得 Ak+1 近似 J(x｛k+1｝) 比 Ak 近似 J(xk) 得更好。通常， uk,vk 是这样选取的，解如下方程：

Ak+1(xk+1−xk)=fk+1−fk

其中 xk+1=xk−A−1kfk,fk=f(xk) ,于是我们令

vTk=xk+1−xk,uk=AkvTk−gkvkvTk

其中 gk=fk+1−fk .这个过程源于下面的事实：
使

(Ak−Pk)(xk+1−xk)=fk+1−fk

成立的且使 ||Pk||2 最小的是一个秩一矩阵。
为了实现拟牛顿法，我们需要求得 A−1K ,通过前面的定理，我们可以递归地求出

A−1k+1=A−1k+(vTk−A−1kgk)vkA−1kvkA−1kgk

Powell 发现利用上面的迭代公式，可以减少一定的计算误差。