最近学习LDA，需要计算特征值与特征向量，就重新学习了一波
特征值的计算使用Python比较简单，需要导入numpy的linalg计算。
linalg是linear algebra的缩写吧。
先导入Numpy
import numpy as np随机生成一个矩阵A
A = np.random.rand(4, 4)A
array([[0.14978175, 0.60689778, 0.02583363, 0.46816227],
[0.28508934, 0.74476942, 0.48711273, 0.75551799],
[0.54103663, 0.57551838, 0.16542061, 0.06687122],
[0.99511415, 0.07225251, 0.67671701, 0.80672535]])我们使用lambda表示特征值，使用$W$表示特征向量
$$\lambda (Lambda)$$
Lambda,W = np.linalg.eig(A)我们注意到特征值和特征变量都含复数部分
Lambda
array([ 1.90910151+0.j , -0.16902995+0.48364592j,
-0.16902995-0.48364592j, 0.29565552+0.j ])W
array([[-0.37740651+0.j , -0.0403403 +0.46883807j,
-0.0403403 -0.46883807j, 0.17922515+0.j ],
[-0.62172554+0.j , -0.30567755+0.1341112j ,
-0.30567755-0.1341112j , -0.39087808+0.j ],
[-0.34506145+0.j , 0.61011431+0.j ,
0.61011431-0.j , -0.67479126+0.j ],
[-0.59325734+0.j , -0.09427735-0.5348002j ,
-0.09427735+0.5348002j , 0.59979116+0.j ]])设Sigma 为一个对角阵，对角线上的值是特征值
$$\Sigma (Sigma)$$
Sigma = np.array(np.identity(4),dtype=complex)
for i in range(4):
Sigma[i,i] = Lambda[i]这里np.identity(4)表示生产一个单位矩阵，dtype=complex表示Sigma这个矩阵中含有复数部分。
Sigma
array([[ 1.90910151+0.j , 0. +0.j ,
0. +0.j , 0. +0.j ],
[ 0. +0.j , -0.16902995+0.48364592j,
0. +0.j , 0. +0.j ],
[ 0. +0.j , 0. +0.j ,
-0.16902995-0.48364592j, 0. +0.j ],
[ 0. +0.j , 0. +0.j ,
0. +0.j , 0.29565552+0.j ]])这个对角矩阵 $\\Sigma$ 有一个神奇的性质，就是：
$$W\Sigma W^{-1} = A$$
可以还原矩阵$A$
其中$W$是特征向量组成的矩阵，$W^{-1}$是$W$的逆。
np.dot(np.dot(W,Sigma),np.linalg.inv(W))
array([[0.14732831+0.j, 0.41608559+0.j, 0.3469616 +0.j, 0.2353639 +0.j],
[0.94427989+0.j, 0.54550629+0.j, 0.4839118 +0.j, 0.67664038+0.j],
[0.83886785+0.j, 0.10101667+0.j, 0.0850258 +0.j, 0.65483286+0.j],
[0.73646205+0.j, 0.94155591+0.j, 0.92273078+0.j, 0.37602319+0.j]])另外，如果矩阵$A$乘上一个标量的话，特征值改变，特征向量矩阵不变。
np.linalg.eig(A)
(array([ 2.04788686+0.j, -0.73295712+0.j, -0.1776856 +0.j, 0.01663945+0.j]),
array([[ 0.27874918-0.j, -0.21558825-0.j, -0.59281181+0.j,
-0.13927731+0.j],
[ 0.59156016-0.j, 0.23053778-0.j, 0.11428477+0.j,
-0.6623556 +0.j],
[ 0.36976417-0.j, 0.70290387+0.j, -0.1166957 +0.j,
0.70647971+0.j],
[ 0.66002268+0.j, -0.6374168 -0.j, 0.78860336+0.j,
0.20681712+0.j]]))
np.linalg.eig(3*A)
np.linalg.eig(3*A)
(array([ 6.14366059+0.j, -2.19887136+0.j, -0.53305679+0.j, 0.04991834+0.j]),
array([[ 0.27874918-0.j, -0.21558825-0.j, -0.59281181+0.j,
-0.13927731+0.j],
[ 0.59156016-0.j, 0.23053778-0.j, 0.11428477+0.j,
-0.6623556 +0.j],
[ 0.36976417-0.j, 0.70290387+0.j, -0.1166957 +0.j,
0.70647971+0.j],
[ 0.66002268+0.j, -0.6374168 -0.j, 0.78860336+0.j,
0.20681712+0.j]]))我们可以看到$3A$的特征值是$A$的三倍，但特征向量是不变的。