《Python数据分析基础教程：NumPy学习指南（第2版）》笔记13：第六章 深入学习NumPy模块1——线性代数模块numpy.linalg

第六章 深入学习NumPy模块

6.1 线性代数

线性代数是数学的一个重要分支。numpy.linalg模块包含线性代数的函数。使用这个模块，我们可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

6.2 动手实践：计算逆矩阵

在线性代数中，矩阵A与其逆矩阵A^-1 相乘后会得到一个单位矩阵I。该定义可以写为A *A^-1 =I。numpy.linalg模块中的inv函数可以计算逆矩阵。我们按如下步骤来对矩阵求逆。

• (1) 与前面的教程中一样，我们将使用mat函数创建示例矩阵：

import numpy as np

A = np.mat("0 1 2;1 0 3;4 -3 8")
print("A\n", A)

输出的矩阵A如下所示：

A
[[ 0 1 2]
[ 1 0 3]
[ 4 -3 8]]

• (2) 现在，我们使用inv函数计算逆矩阵：

inverse = np.linalg.inv(A)
print("inverse of A\n", inverse)

输出的逆矩阵如下：

inverse of A
[[-4.5 7. -1.5]
[-2. 4. -1. ]
[ 1.5 -2. 0.5]]

注意！如果输入矩阵是奇异的（可逆的）或非方阵，则会抛出LinAlgError异常。

• (3) 我们来检查一下原矩阵和求得的逆矩阵相乘的结果：

print("Check\n", A * inverse)

不出所料，结果确实是一个单位矩阵：

Check
[[ 1. 0. 0.]
[ 0. 1. 0.]
[ 0. 0. 1.]]

• 案例完整代码如下：

import numpy as np

A = np.mat("0 1 2;1 0 3;4 -3 8")
print("A\n", A)

inverse = np.linalg.inv(A)
print("inverse of A\n", inverse)

print("Check\n", A * inverse)

6.3求解线性方程组

矩阵可以对向量进行线性变换，这对应于数学中的线性方程组。numpy.linalg中的函数solve可以求解形如Ax = b的线性方程组，其中A 为矩阵，b 为一维或二维的数组，x 是未知变量。我们将练习使用dot函数，用于计算两个浮点数数组的点积。

6.4动手实践：求解线性方程组

让我们求解一个线性方程组实例，步骤如下。

• (1) 创建矩阵A和数组b：

import numpy as np

A = np.mat("1 -2 1;0 2 -8;-4 5 9")
print( "A\n", A)

b = np.array([0, 8, -9])
print( "b\n", b)

矩阵A和数组b如下所示：

A
 [[ 1 -2  1]
 [ 0  2 -8]
 [-4  5  9]]
b
 [ 0  8 -9]

• (2) 调用solve函数求解线性方程组：

x = np.linalg.solve(A, b)
print( "Solution", x)

求解结果如下：

Solution [ 29. 16. 3.] 

• (3) 使用dot函数检查求得的解是否正确：

print( "Check\n", np.dot(A , x))

结果和预期的一致：

Check 
[[ 0. 8. -9.]] 

• 案例完整代码如下：

import numpy as np

A = np.mat("1 -2 1;0 2 -8;-4 5 9")
print( "A\n", A)

b = np.array([0, 8, -9])
print( "b\n", b)

x = np.linalg.solve(A, b)
print( "Solution", x)

print( "Check\n", np.dot(A , x))

6.5特征值和特征向量

特征值（eigenvalue）即方程 Ax = ax的根，是一个标量。其中，A是一个二维矩阵，x是一个一维向量。特征向量（eigenvector）是关于特征值的向量。在numpy.linalg模块中，eigvals函数可以计算矩阵的特征值，而eig函数可以返回一个包含特征值和对应的特征向量的元组。

6.6动手实践：求解特征值和特征向量

我们来计算矩阵的特征值和特征向量，步骤如下。

• (1) 创建一个矩阵：

import numpy as np

A = np.mat("3 -2;1 0")
print( "A\n", A)

创建的矩阵如下所示：

A 
[[ 3 -2] 
[ 1 0]] 

• (2) 调用eigvals函数求解特征值：

print( "Eigenvalues", np.linalg.eigvals(A) )

求得的特征值如下：

Eigenvalues [ 2. 1.] 

• (3) 使用eig函数求解特征值和特征向量。该函数将返回一个元组，按列排放着特征值和对应的特征向量，其中第一列为特征值，第二列为特征向量。

eigenvalues, eigenvectors = np.linalg.eig(A)
print( "First tuple of eig", eigenvalues)
print( "Second tuple of eig\n", eigenvectors)

求得的特征值和特征向量如下所示：

First tuple of eig [ 2. 1.] 
Second tuple of eig 
[[ 0.89442719 0.70710678] 
[ 0.4472136 0.70710678]] 

• (4) 使用dot函数验证求得的解是否正确。分别计算等式 Ax = ax的左半部分和右半部分，检查是否相等。

for i in range(len(eigenvalues)):
    print( "Left", np.dot(A, eigenvectors[:,i]))
    print( "Right", eigenvalues[i] * eigenvectors[:,i])
    print()

输出结果如下：

Left [[ 1.78885438] 
[ 0.89442719]] 
Right [[ 1.78885438] 
[ 0.89442719]] 
Left [[ 0.70710678] 
[ 0.70710678]] 
Right [[ 0.70710678] 
[ 0.70710678]] 

• 案例完整代码如下：

import numpy as np

A = np.mat("3 -2;1 0")
print( "A\n", A)

print( "Eigenvalues", np.linalg.eigvals(A) )

eigenvalues, eigenvectors = np.linalg.eig(A)
print( "First tuple of eig", eigenvalues)
print( "Second tuple of eig\n", eigenvectors)

for i in range(len(eigenvalues)):
    print( "Left", np.dot(A, eigenvectors[:,i]))
    print( "Right", eigenvalues[i] * eigenvectors[:,i])
    print()

6.7奇异值分解

SVD（Singular Value Decomposition，奇异值分解）是一种因子分解运算，将一个矩阵分解为3个矩阵的乘积。奇异值分解是前面讨论过的特征值分解的一种推广。在numpy.linalg模块中的svd函数可以对矩阵进行奇异值分解。该函数返回3个矩阵——U、Sigma和V，其中U和V是正交矩阵，Sigma包含输入矩阵的奇异值。

星号表示厄米共轭（Hermitian conjugate）或共轭转置（conjugate transpose）。

6.8动手实践：分解矩阵

现在，我们来对矩阵进行奇异值分解，步骤如下。

• (1) 首先，创建一个矩阵：

import numpy as np

A = np.mat("4 11 14;8 7 -2")
print( "A\n", A)

创建的矩阵如下所示：

A 
[[ 4 11 14] 
[ 8 7 -2]] 

• (2) 使用svd函数分解矩阵：

U, Sigma, V = np.linalg.svd(A, full_matrices=False)

print( "U")
print( U)

print( "Sigma")
print( Sigma)

print( "V")
print( V)

得到的结果包含等式中左右两端的两个正交矩阵U和V，以及中间的奇异值矩阵Sigma：

U 
[[-0.9486833 -0.31622777] 
[-0.31622777 0.9486833 ]] 
Sigma 
[ 18.97366596 9.48683298] 
V 
[[-0.33333333 -0.66666667 -0.66666667] 
[ 0.66666667 0.33333333 -0.66666667]] 

• (3) 不过，我们并没有真正得到中间的奇异值矩阵——得到的只是其对角线上的值，而非对角线上的值均为0。我们可以使用diag函数生成完整的奇异值矩阵。将分解出的3个矩阵相乘，如下所示：

print( "Product\n", U * np.diag(Sigma) * V)

相乘的结果如下：

Product 
[[ 4. 11. 14.] 
[ 8. 7. -2.]] 

• 案例完整代码如下：

import numpy as np

A = np.mat("4 11 14;8 7 -2")
print( "A\n", A)

U, Sigma, V = np.linalg.svd(A, full_matrices=False)

print( "U")
print( U)

print( "Sigma")
print( Sigma)

print( "V")
print( V)

print( "Product\n", U * np.diag(Sigma) * V)

6.9广义逆矩阵

摩尔·彭罗斯广义逆矩阵（Moore-Penrose pseudoinverse）可以使用numpy.linalg模块中的pinv函数进行求解（广义逆矩阵的具体定义请访问https://baike.baidu.com/item/%E5%B9%BF%E4%B9%89%E9%80%86%E7%9F%A9%E9%98%B5）。计算广义逆矩阵需要用到奇异值分解。inv函数只接受方阵作为输入矩阵，而pinv函数则没有这个限制。

6.10动手实践：计算广义逆矩阵

我们来计算矩阵的广义逆矩阵，步骤如下。

• (1) 首先，创建一个矩阵：

import numpy as np

A = np.mat("4 11 14;8 7 -2")
print( "A\n", A)

创建的矩阵如下所示：

A 
[[ 4 11 14] 
[ 8 7 -2]] 

• (2) 使用pinv函数计算广义逆矩阵：

pseudoinv = np.linalg.pinv(A)
print( "Pseudo inverse\n", pseudoinv)

计算结果如下：

Pseudo inverse 
[[-0.00555556 0.07222222] 
[ 0.02222222 0.04444444] 
[ 0.05555556 -0.05555556]] 

• (3) 将原矩阵和得到的广义逆矩阵相乘：

print( "Check", A * pseudoinv)

得到的结果并非严格意义上的单位矩阵，但非常近似，如下所示：

Check [[ 1.00000000e+00 0.00000000e+00] 
[ 8.32667268e-17 1.00000000e+00]] 

• 案例完整代码如下：

import numpy as np

A = np.mat("4 11 14;8 7 -2")
print( "A\n", A)

pseudoinv = np.linalg.pinv(A)
print( "Pseudo inverse\n", pseudoinv)

print( "Check", A * pseudoinv)

6.11行列式

行列式（determinant）是与方阵相关的一个标量值，在数学中得到广泛应用（更详细的介绍请访问https://baike.baidu.com/item/%E8%A1%8C%E5%88%97%E5%BC%8F）。对于一个n×n的实数矩阵，行列式描述的是一个线性变换对“有向体积”所造成的影响。行列式的值为正表示保持了空间的定向（顺时针或逆时针），为负则表示颠倒了空间的定向。numpy.linalg模块中的det函数可以计算矩阵的行列式。

6.12动手实践：计算矩阵的行列式

计算矩阵的行列式，步骤如下。

• (1) 创建一个矩阵：

import numpy as np

A = np.mat("3 4;5 6")
print( "A\n", A)

创建的矩阵如下所示：

A 
[[ 3. 4.] 
[ 5. 6.]] 

• (2) 使用det函数计算行列式：

print( "Determinant", np.linalg.det(A))

计算结果如下：

Determinant -2.0 

• 案例完整代码如下：

import numpy as np

A = np.mat("3 4;5 6")
print( "A\n", A)

print( "Determinant", np.linalg.det(A))