2.9 穆尔彭罗斯伪逆

声明:该文章翻译自MIT出版的《DEEP LEARNING》,博主会定期更新文章内容。由于博主能力有限,中间有过错之处希望大家给予批评指正,一起学习交流。

只有方阵定义了矩阵求逆。假设我们得到矩阵的左逆,这样的话我们就能通过两边都左乘逆,解决下面的线性等式

Ax=y
,得到
x=By
依赖于问题的结构,不太可能设计出唯一的 A B 的映射。

如果 A 高度比宽度大,那么这个等式可能无解。如果 A 宽度比高度大,那么可能有多个解。

穆尔彭罗斯伪逆让我们在这些情况下取得一些进展。的伪逆定义如下:

A+=limα0(ATA+αI)1AT
计算伪逆的实用算法不是基于定义的,而是公式:
A+=VD+UT
其中是奇异值分解,对角矩阵 D 的伪逆 D+ 通过取非零元素的倒数然后将结果矩阵转置得到。

A 的列大于行,那么用伪逆解决线性方程提供了一种解法。特别地,它提供了具有最小欧几里德范数 x2 的解 x=A+y

A 的行大于列,可能没有解。在这种情况下,用伪逆得到一个 x ,并且 Ax 尽可能的靠近 y ,用欧几里德范数的形式表示是 Axy2

你可能感兴趣的:(PRML,深度学习,麻省理工,穆尔彭罗斯伪逆)