Tensorflow快餐教程(6) - 矩阵分解

摘要: 特征分解,奇异值分解,Moore-Penrose广义逆

矩阵分解

特征向量和特征值

我们在《线性代数》课学过方阵的特征向量和特征值。

定义:设A∈Fn×nA∈Fn×n是n阶方阵。如果存在非零向量X∈Fn×1X∈Fn×1使AX=λXAX=λX对某个常数λ∈Fλ∈F成立,则称λλ是A的特征值(eigenvalue),X是属于特征值λλ的特征向量。

设σσ是数域F上向量空间V上的线性变换,如果某个非零向量u∈Vu∈V被σσ映射到自己的常数倍σ(u)=λuσ(u)=λu,则称常数λ∈Fλ∈F是σσ的特征值,向量u是属于特征值λλ的特征向量。

又找λλ又找A确实不是一件容易事。好在,我们可以把这事儿交给Tensorflow去解决。我们可以用tf.self_adjoint_eigvals来求特征值,相当于MATLAB的eig函数,只不过名字长了点。

例:

Tensorflow快餐教程(6) - 矩阵分解_第1张图片

摘要: 特征分解,奇异值分解,Moore-Penrose广义逆

矩阵分解

特征向量和特征值

我们在《线性代数》课学过方阵的特征向量和特征值。

定义:设A∈Fn×nA∈Fn×n是n阶方阵。如果存在非零向量X∈Fn×1X∈Fn×1使AX=λXAX=λX对某个常数λ∈Fλ∈F成立,则称λλ是A的特征值(eigenvalue),X是属于特征值λλ的特征向量。

设σσ是数域F上向量空间V上的线性变换,如果某个非零向量u∈Vu∈V被σσ映射到自己的常数倍σ(u)=λuσ(u)=λu,则称常数λ∈Fλ∈F是σσ的特征值,向量u是属于特征值λλ的特征向量。

又找λλ又找A确实不是一件容易事。好在,我们可以把这事儿交给Tensorflow去解决。我们可以用tf.self_adjoint_eigvals来求特征值,相当于MATLAB的eig函数,只不过名字长了点。

例:

Tensorflow快餐教程(6) - 矩阵分解_第2张图片

也就是说,A1矩阵有3个特征值-1,3,3。

特征分解

我们把用self_adjoint_eigvals求出来的向量转换成对角矩阵:

同样,我们把每个特征向量组成一个矩阵,假设为V. 

这样,我们可以得到一个公式:A=Vdiag(λ)V−1A=Vdiag(λ)V−1

按照上面公式方法对矩阵A所做的操作叫做A的特征分解(eigen decomposition)

不是每一个矩阵都可以分解成特征值和特征向量。在某些情况下,特征分解存在,但是值是复数而不是实数。幸运的是,机器学习中遇到的方阵基本都可以分解成A=QΛQTA=QΛQT,其中Q是特征向量构成的正交矩阵,ΛΛ是对角矩阵。

奇异值分解

对于多数方阵,我们可以进行特征值分解。如果对于非方阵该怎么办呢?答案是我们有类似的奇异向量(Singular vector)和奇异值(singular value). 通过奇异向量和奇异值,我们可以把非方阵进行奇异值分解(singular value decomposition),简称svd. 

SVD将矩阵分解为三个矩阵的乘积:A=UDVTA=UDVT。其中,U和V都定义为正交矩阵。D是对角矩阵,虽然不一定是方阵。

如果A是一个mn的矩阵,那么U是一个mm的矩阵,V是一个nn的矩阵,D与A一样是mn的矩阵。

我们可以通过tf.svd函数来做奇异值分解,例:

Tensorflow快餐教程(6) - 矩阵分解_第3张图片

As矩阵是23的矩阵。所以U是22的,而V是3*3的。第1个值是奇异值,[9.508032 , 0.77286964],它是D的对角线上值,其它位置为0.

D的完整值为:

三个矩阵的完整值为:

Tensorflow快餐教程(6) - 矩阵分解_第4张图片

我们来验算一下这个奇异值分解是不是正确的,别忘了V是要转置的:

虽然是有点浮点计算误差,但是结果还确实是我们分解前的那个。关于计算误差的问题,在机器学习中也自然是重要问题,后面会讨论。

Moore-Penrose广义逆

铺垫了这么多,其实我们是在为解线性方程组奋斗。我们在第一节Tensorflow的线性回归例子,还有神经网络的例子都看到,求解线性方程组是重要的运算。

形如Ax=b的线性方程组,如果A有逆矩阵就好办了,两边分别右乘A逆就可以解出方程组。

但是问题是,机器学习中有很多方程是欠定的(underdetermined)。

这时候我们就需要一种类似于逆矩阵的工具 - Moore-Penrose广义逆(pseudoinverse)。

Moore-Penrose广义逆定义如下:

A+=limα→0(ATA+αI)−1ATA+=limα→0(ATA+αI)−1AT

这个定义在计算时是没法使用的,我们使用另一个公式来算

A+=VD+UTA+=VD+UT

这个公式一看太熟悉了,就是刚才我们学习的奇异值分解嘛。

其中D+D+,D的广义逆的计算方法是所有非0值取倒数,然后矩阵转置。

对于一个AX=B方程组的最小二乘法解,一般来讲不是唯一的。通常把它们中2-范数最小的一个称为极小最小二乘解,也叫最佳逼近解。

可以证明,AX=B必有唯一的极小最小二乘解,这个解就是X=A+BX=A+B

广义逆简史

首先复习一下逆阵的概念,如果一个矩阵有逆阵,条件为:

1、必须是方阵

2、行列式不能为0

美国数学家Moore于1920年逆矩阵的概念推广到任意矩阵上,使用的方法是正交投影算子来定义的。

1955年,英国数学家Penrose用下面的方程组来定义广义逆:

AGA=A,GAG=G,(AG)H=AG(GA)H=GAAGA=A,GAG=G,(AG)H=AG(GA)H=GA

其中,H这个符号代表矩阵共轭的转置,对于实数就相当于T。

不久之后,瑞典大地测量学家Arne Bjerhammer证明了Moore广义逆与Penrose广义逆的等价性。所以把它定义为Moore-Penrose广义逆。除了A+A+之外,还有A−A−广义逆等。

作者:lusing

原文链接

本文为云栖社区原创内容,未经允许不得转载。

你可能感兴趣的:(Tensorflow快餐教程(6) - 矩阵分解)