原理和过程
PAC主要用于线性降维，原理很简单如下图所示：
PCA原理分析
解释：
X：输入矩阵，即原始数据，表示m个有n个维矩阵（n即是我们要降的维度）
C：是X的协方差矩阵
P：求C的特征值和特征向量，然后将特征向量按特征值的大小排列，取前面R个组成向量P（r为你希望降至的维数），由矩阵论知识易知P为正交基。
Y：即为所求
D：是Y的协方差矩阵，对角线元素为C的特征值，其余值为0
sklearn实现
>>> import numpy as np
>>> from sklearn.decomposition import PCA
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> pca = PCA(n_components=2)
>>> pca.fit(X)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
svd_solver='auto', tol=0.0, whiten=False)
>>> print(pca.explained_variance_ratio_)
[ 0.99244... 0.00755...]
>>> print(pca.singular_values_)
[ 6.30061... 0.54980...]
源代码实现
定义PCA类
class PCA(object):
"""定义PCA类"""
def __init__(self, x, n_components=None):
self.x = x
self.dimension = x.shape[1]
if n_components and n_components >= self.dimension:
raise DimensionValueError("n_components error")
self.n_components = n_components
接下来就是计算协方差矩阵，特征值，特征向量，为了方便下面的计算，我把特征值和特征向量整合在一个dataframe内，并按特征值的大小降序排列：
def cov(self):
"""求x的协方差矩阵"""
x_T = np.transpose(self.x) #矩阵转置
x_cov = np.cov(x_T) #协方差矩阵
return x_cov
def get_feature(self):
"""求协方差矩阵C的特征值和特征向量"""
x_cov = self.cov()
a, b = np.linalg.eig(x_cov)
m = a.shape[0]
c = np.hstack((a.reshape((m,1)), b))
c_df = pd.DataFrame(c)
c_df_sort = c_df.sort(columns=0, ascending=False)
return c_df_sort
最后就是降维，用了两种方式，指定维度降维和根据方差贡献率自动降维，默认方差贡献率为99%：
def reduce_dimension(self):
"""指定维度降维和根据方差贡献率自动降维"""
c_df_sort = self.get_feature()
varience = self.explained_varience_()
if self.n_components: #指定降维维度
p = c_df_sort.values[0:self.n_components, 1:]
y = np.dot(p, np.transpose(self.x))
return np.transpose(y)
varience_sum = sum(varience)
varience_radio = varience / varience_sum
varience_contribution = 0
for R in xrange(self.dimension):
varience_contribution += varience_radio[R]
if varience_contribution >= 0.99:
break
p = c_df_sort.values[0:R+1, 1:] #取前R个特征向量
y = np.dot(p, np.transpose(self.x))
return np.transpose(y)
PCA_on_IRIS
加载iris数据集
from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
target_names = iris.target_namesX由四维特征表示
2018-11-23 10-40-13屏幕截图.png
使用PCA算法降至2维
pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)
plt.figure()
colors = ['navy', 'turquoise', 'darkorange']
for color, i, target_name in zip(colors, [0, 1, 2], target_names):
plt.scatter(X_r[y == i, 0], X_r[y == i, 1], color=color, alpha=.8, lw=2, label=target_name)
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.title('PCA of IRIS dataset')
plt.show()
2018-11-23 10-42-01屏幕截图.png
参考：https://blog.csdn.net/u011473714/article/details/79745532