xia ge tou lia

机器学习——数据降维——主成分分析（PCA）和奇异值分解（SVD）

一、主成分分析（PCA）

主成分分析，Principal Component Analysis (PCA)，是现代数据分析的标准工具，它可以把庞大复杂的高维数据集（变换之前的数据集各维度之间存在相关性），通过数学变换，转化成较低维度的数据集，并去除掉维度之间的相关性。

PCA的优势和劣势都在于，它是一个非参数的分析。没有需要调整的参数，它的答案是唯一的，独立于用户特性的。

PCA和LDA的区别可见《多元统计分析——数据降维——Fisher线性判别分析（LDA）》中第五节。

主成分分析的应用领域：

构建综合指标：主成分分析主要用于构建综合指标来区分目标群体，例如构建顾客各种消费行为的综合指标来进行客户分级。
数据降维：通常我们会用少于原始变量数的主成分来描述尽可能多的数据差异，特别是当原始变量维度很高时，可达到降维目的。
数据可视化：当原始变量维度很高时，可采用第一、第二主成分散点图来直观表述数据特征，例如数据聚类信息等。
变量压缩、重构：由“重要的”主成分重构原始变量（即原始数据 $X\rightarrow Z$ 之后，选择主要方差的特征之后，通过线性变化回原维度数据，以实现降噪的目的），可以去除原始数据中冗余的噪音，突出数据的特征，例如人脸识别。

1、PCA原理

主成分分析的原理非常简单，概括来说就是选择包含信息量大的维度，去除信息量少的“干扰”维度。

注意：这边所谓的“维度”不是原始数据的某个特征，而是原始数据各个特征的组合。

具体如下：

数据从原来的坐标系转换到新的坐标系 $\mu ^{T}X$ ，新坐标系的选择是由数据本身决定的。第一个新坐标轴 $\mu _{1}$ 选择的是原始数据中方差最大（ $\mu^{T}_{1}\Sigma \mu_{1}$ ）的方向，第二个新坐标轴 $\mu _{2}$ 选择与第一个新坐标轴 $\mu _{1}$ 正交（ $\mu^{T}_{1}\Sigma \mu_{2}=0$ ）且具有最大方差（ $\mu^{T}_{2}\Sigma \mu_{2}$ ）的方向，第三个新坐标轴 $\mu _{3}$ 选择与第一个新坐标轴 $\mu _{1}$ 、第二个新坐标轴 $\mu _{2}$ 正交（ $\mu_{1}^{T}\Sigma \mu_{3}=0,\mu^{T}_{2}\Sigma \mu_{3}=0$ ）且具有最大方差（ $\mu^{T}_{3}\Sigma \mu_{3}$ ）的方向........以此类推，第个新坐标轴 $\mu _{p}$ 选择与第一个新坐标轴 $\mu _{1}$ 、第二个新坐标轴 $\mu _{2}$ 、...、第个新坐标轴 $\mu _{p-1}$ 正交（ $\mu^{T}_{j}\Sigma \mu_{p}=0,j=1,2,...,p-1$ ）且具有最小方差（ $\mu^{T}_{p}\Sigma \mu_{p}$ ）的方向，共建立与原始数据特征数目相等的新坐标轴。
我们会发现，大部分方差都包含在最前面的几个新坐标轴中，因此我们可以忽略余下的坐标轴，从而实现降维。（方差大代表不同数据之间的差异大，即，包含的可区分信息量大）

注意，PCA降维后，原始数据被映射到了新坐标系，不是原始值了。

pca降维实现的步骤:

1）把数据集组织成一个 $m\times n$ 的矩阵。

2）将的每个变量（列）分别进行去中心化 $X_{j}-\mu _{j},j=1,....,p$ ，得到新的数据集（注意：有时需要做标准化，见下方第四节——基于标准化变量的主成分分析）。

3）求出协方差矩阵 $\Sigma =\frac{1}{n}WW^{T}$ 。

4）求出协方差矩阵的特征值 $\lambda _{j}$ 和对应的特征向量 $e _{j}$ 。

5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前行组成矩阵（注意：如何取值请见下方第5节——主成分个数的选择）。

6）即为降维到维后的数据。

【知识点1】：

设是阶方阵，如果标量 $\lambda$ 和维非零列向量使关系式 $Ax=\lambda x$ 成立，则称 $\lambda$ 是方阵的特征值，非零列向量称为的对应于特征值 $\lambda$ 的特征向量。

$Ax=\lambda x$ 可改写为 $(A-\lambda E)x=0$

这是个未知数个方程的齐次线性方程组，它有非零解的充要条件是 $\left | A-\lambda E \right |=0$ ，即

$\begin{vmatrix} a_{11}-\lambda & a_{12} & ... & a_{1n} \\ a_{21} & a_{22}-\lambda & ... & a_{2n} \\ .& .& .&. \\ .& .& .&. \\ .& .& .&. \\ a_{n1}& a_{n2} & ... & a_{nn}-\lambda \end{vmatrix}=0$

以上步骤的关键点在于：为何协方差的特征值对应的特征向量构成的矩阵能够实现降维的效果？以下我们通过结合案例数据和数据分布的图形进一步进行讲解。

案例分析：

案例1：有以下二维数据：

	房价(百万）	面积（平方米）
a	10	9
b	2	3
c	1	2
d	7	6.5
e	3	2.5

1）对数据进行去中心化——均值为0

去中心化之后的数据分布如下所示：O为坐标原点。

【小贴士1】

观察点 $X_{i}$ 有时用经过中心化的 $X_{i}-\overline{X}$ 代替。这并不会对样本协方差矩阵或者相关系数矩阵有影响，所以不会改变最后得到的系数向量 $e_{j}$ 。

主成分的几何解释？

经过中心化的一系列主成分 $Z_{ij}=e_{j}^{T}(X_{i}-\overline{X}),j=1,...,p,i=1,...,n$ 可看作将原来坐标系的原点平移到 $\overline{X}$ ，然后旋转坐标轴,使得坐标轴与数据最大方差方向一致，如下图所示。

2）数据从原来的坐标系转换到新的坐标系。第一个新坐标轴选择的是原始数据中方差最大的方向(即下图中，数据在蓝色线的投影后的方差最大)，第二个新坐标轴选择与第一个新坐标轴正交且具有最大方差的方向（即下图中，数据在红色线的投影后的方差最大）。

我们知道，给定一个单位向量 $\mu$ 和空间内一点 $X_{i}$ （ $X_{i}$ 根据空间维度可以表示为 $[X_{i1},X_{i2},X_{i3},.....X_{ip}]$ ，代表维度）， $X_{i}$ 在 $\mu$ 上的投影距离原点的距离为 $\mu ^{T}X_{i}$ ，同样，如果 $X_{i}$ 为数据集合（可表示为矩阵，也可以表示为列向量 $\begin{bmatrix} X_{1} \\ X_{2} \\ . \\ . \\ . \\ X_{i} \end{bmatrix}$ ）中的一点，因此为了最大化投影点的方差，我们需要选择一个单位向量 $\mu$ 将如下式子最大化：

$\frac{1}{n}\sum ^{n}_{i=1}(\mu ^{T}X_{i})^{2}=\frac{1}{n}\sum ^{n}_{i=1}(\mu ^{T}X_{i})(\mu ^{T}X_{i})^{T}=\frac{1}{n}\sum ^{n}_{i=1}(\mu ^{T}X_{i}X_{i}^{T}\mu)=\mu^{T}\frac{1}{n}\sum ^{n}_{i=1}( X_{i}X_{i}^{T})\mu$ ，其中代表样本点的个数。

注意：实际上样本方差和协方差的公式应该是，此处为方便用，对结果没有影响。

其中 $X=\begin{bmatrix} X_{1} \\ X_{2} \\ . \\ . \\ . \\ X_{i} \end{bmatrix}$ ， $X^{T}=\begin{bmatrix} X_{1}^{T} & X_{2}^{T} & . & . & . & X_{i}^{T} \end{bmatrix}$ ， $XX^{T}=\sum ^{n}_{i=1}X_{i}X_{i}^{T}$ ，代入到 $\mu^{T}\frac{1}{n}\sum ^{n}_{i=1}( X_{i}X_{i}^{T})\mu$ ，得：

$\mu^{T}\frac{1}{n}\sum ^{n}_{i=1}( X_{i}X_{i}^{T})\mu=\mu^{T}\frac{1}{n}( XX^{T})\mu$

令 $\Sigma =\frac{1}{n}( XX^{T})$ ，则上式最终简化为 $\mu^{T}\Sigma \mu$ ， $\Sigma$ 即为原始变量的协方差矩阵。

【知识点2】：

转置矩阵性质： $(AB)^{T}=B^{T}A^{T}$

我们是要求方差最大化，如果 $\mu$ 越大的话，总体方差也就越大，鉴于我们只想求 $\mu$ 的方向，而不想依赖于 $\mu$ 的长度，我们让 $\mu$ 为一个标准化的向量（单位向量）。接下来，我们可以通过拉格朗日乘子法构造下面方程：

$max\,\, \, \, \mu^{T}\Sigma \mu$

$\\ s.t\, \, \, \, \mu ^{T} \mu=1$

关于拉格朗日乘子法详细解析请见【如何理解拉格朗日乘子法？】

对其变形： $F=\mu^{T}\Sigma \mu+\lambda (\mu^{T} \mu -1)$

对其求 $\mu$ 的偏导： $\frac{\partial F}{\partial \mu }=2\Sigma \mu -2\lambda \mu=0\Rightarrow \Sigma \mu=\lambda \mu$ ，即当 $\Sigma \mu=\lambda \mu$ 时， $\mu^{T}\Sigma \mu$ 取最大值。

根据上面的【知识点1】，我们可以得出： $\lambda$ 是方阵 $\Sigma$ 的特征值， $\mu$ 称为 $\Sigma$ 的对应于特征值 $\lambda$ 的特征向量。

此时最大方差为 $\mu^{T}\Sigma \mu=\mu^{T}\lambda \mu=\lambda$ （ $\lambda$ 是一个常数，可以提取出来 $\lambda \mu^{T}\mu$ ，又因为 $\mu ^{T} \mu=1$ ，得 $\mu^{T}\lambda \mu=\lambda$ ）。

即得出结论，PCA降维，即为求协方差矩阵的特征值和特征向量， $\Sigma =\frac{1}{n}( XX^{T})$ 即为原始数据的协方差矩阵。

【定理1】对于任意向量 $\mu$ 和 $p\times p$ 对称矩阵 $\Sigma$ ，记 $(\lambda _{j},e_{j}),j=1,...,p$ 为 $\Sigma$ 的特征对，其中 $\lambda _{1}\geq ...\geq \lambda _{p}\geq 0$ ，则

极值 极值点

$\max_{\mu \neq 0}\frac{\mu^{T}\Sigma \mu}{\mu^{T}\mu}=\lambda _{1}$ $\mu_{1} =e_{1}$

$\max_{\mu \neq 0,\mu_{j} \perp e_{1},..., e_{j-1}}\frac{\mu^{T}\Sigma \mu}{\mu^{T}\mu}=\lambda _{j},j=2,...,p-1$ $\mu_{j} =e_{j}$

$\min_{\mu \neq 0}\frac{\mu^{T}\Sigma \mu}{\mu^{T}\mu}=\lambda _{p}$ $\mu_{p} =e_{p}$

注意：以上 $\mu_{j} \perp e_{1},..., e_{j-1}$ 的限制条件其实就是 $\mu^{T}_{j}\Sigma \mu_{k}=0,k=1,2,...,j-1$ 。我们以 $\mu^{T}_{2}\Sigma \mu_{1}=0$ 为例，对求 $\mu _{2}$ 而言，我们已经求得 $\mu _{1}=e_{1}$ ， $(\lambda _{1},e_{1})$ 是 $\Sigma$ 的一个特征对， $\Sigma \mu_{1}=\lambda_{1}e_{1}$ ，则 $\mu^{T}_{2}\Sigma \mu_{1}=0\Rightarrow \mu^{T}_{2}\lambda _{1}e_{1}=0$ 。因为 $\lambda _{1}$ 是一个常数，可以提到最前，得： $\lambda _{1}\mu^{T}_{2}e_{1}=0\Rightarrow \mu^{T}_{2}e_{1}=0$ ，最后得到： $\mu_{2}$ 和 $e_{1}$ 是垂直的（ $\mu_{2} \perp e_{1}$ ，因为 $\mu _{2}^{T}$ 和 $\mu _{2}$ 可以看做空间中两个相对于原点对称的点， $\mu_{2}^{T} \perp e_{1}$ 则 $\mu_{2} \perp e_{1}$ ）。

【定理2】记 $(\lambda _{1},e_{1})$ ,..., $(\lambda _{p},e_{p})$ 为协方差矩阵 $\Sigma$ 的特征值-特征向量， $\lambda _{1}\geq ...\geq \lambda _{p}\geq 0$ 并且特征向量 $e_{1},...,e_{p}$ 是标准化的特征向量。

则变量 $X_{1},...,X_{p}$ 的第个主成分由下式给出：

$Z_{j}=e_{j}^{T}X=e_{j1}X_{1}+e_{j2}X_{2}+...+e_{jp}X_{p},j=1,...,p$

性质1： $var(Z_{j})=e_{j}^{T}\Sigma e_{j}=\lambda _{j}$

性质2： $cov(Z_{j},Z_{k})=e_{j}^{T}\Sigma e_{k}=0$

性质3： $\sum _{j=1}^{p}var(Z_{j})=\sum _{j=1}^{p}var(Y_{j})$ ，即变换后的数据还原了原始数据的信息（方差总和相同）

证明：我们知道变化之后的方差之和为： $\sum _{j=1}^{p}var(Z_{j})=\lambda _{1}+\lambda _{2}+...+\lambda _{p}$ ，原始数据的方差之和 $\sum _{j=1}^{p}var(Y_{j})$ 为协方差矩阵 $\Sigma$ 的对角线元素之和，即为 $\Sigma$ 的迹 $tr(\Sigma )$ ；我们知道 $\Sigma$ 的迹 $tr(\Sigma )$ 即为协方差矩阵 $\Sigma$ 所有特征值之和）

关于矩阵迹和特征值得关系可见《线性代数——韦达定理、矩阵行列式、矩阵的迹、矩阵特征值及关系》

在这边，特征向量我们可以理解为转换的方向，特征值，我们可以理解为平移的速度。

【知识点3】：

教科书上求阶方阵的特征值和特征向量的步骤如下：

求出n阶方阵A的特征多项式 $\left | A-\lambda E \right |$ 。

求出特征方程 $\left | A-\lambda E \right |$ =0的全部根， $\lambda _{1}$ ， $\lambda _{2}$ ，......， $\lambda _{n}$ ，即为A的特征值。

把每个特征值 $\lambda _{i}$ 代入线性方程组 $( A-\lambda E)x=0$ ，求出基础解系，就是A对应于 $\lambda _{i}$ 的特征向量，基础解析的线性组合（零向量外）就是A对应于 $\lambda _{i}$ 的全部特征向量。

我们可以对上面的例子求下解。

对原始数据集去中心化得到：，我们以表示。

求出协方差矩阵 $\Sigma =\frac{1}{n}X^{T}X=\begin{pmatrix} 5.4 &-2.6 & -3.6 & 2.4& -1.6\\4.4& -1.6& -2.6&1.9& -2.1 \end{pmatrix}\begin{pmatrix} 5.4 & 4.4\\ -2.6 & -1.6\\ -3.6 &-2.6 \\ 2.4&1.9 \\ -1.6& -2.1 \end{pmatrix}=\begin{pmatrix} 11.44 & 9.04\\9.04 & 7.34 \end{pmatrix}$

求解特征多项式 $\left | A-\lambda E \right |=\begin{vmatrix} 11.44-\lambda & 9.04\\9.04 & 7.34-\lambda \end{vmatrix}=0$ ，得 $\lambda _{1}=18.65953$ ， $\lambda _{2}=0.12047$ 。

当 $\lambda _{1}=18.65953$ ， $( A-\lambda E)x=\begin{pmatrix} -7.21953 & 9.04\\9.04 & -11.31953 \end{pmatrix}\begin{pmatrix} x_{1}\\x_{2} \end{pmatrix}=0$ ，当 $\lambda _{2}=0.12047$ ， $( A-\lambda E)x=\begin{pmatrix} 11.31953& 9.04\\9.04 &7.21953 \end{pmatrix}\begin{pmatrix} x_{1}\\x_{2} \end{pmatrix}=0$ ，再结合求得的向量为单位向量 $\left \| \mu \right \|=1\Rightarrow \mu \mu ^{T}-1=0$ ，求得 $\lambda _{1}$ 的特征向量为 $\begin{pmatrix} 0.78139452\\0.62403734 \end{pmatrix}$ ， $\lambda _{2}$ 的特征向量为 $\begin{pmatrix} 0.62403734\\ -0.78139452\end{pmatrix}$ 。

按照特征值大小排列，得主成分矩阵为 $\begin{pmatrix} 0.78139452&0.62403734\\0.62403734& -0.78139452\end{pmatrix}$ 。

2、PCA算法的python实现

import numpy as np
dataMat=pd.DataFrame([[10,9],
[2,3],
[1,2],
[7,6.5],
[3,2.5]])

meanVals=np.mean(dataMat,axis=0) #求dataMat各列均值
meanRemoved=dataMat-meanVals #减去原始数据中的均值，避免协方差计算中出现乘以0的情况
covMat=np.cov(meanRemoved,rowvar=0) #rowvar=0-->以列代表一个变量，计算各列之间的协方差
eigVals,eigVects=np.linalg.eig(np.mat(covMat)) #协方差矩阵的特征值和特征向量

eigVals
eigVects

输出：

array([23.32440667,  0.15059333])

matrix([[ 0.78139452, -0.62403734],
        [ 0.62403734,  0.78139452]])

去中心化的数据集乘以主成分矩阵，即为降维后的数据，注意：此时eigVects中一列是代表着一个特征向量。

meanRemoved*eigVects

输出：

matrix([[ 6.96529471,  0.06833426],
        [-3.0300855 ,  0.37226585],
        [-4.43551736,  0.21490867],
        [ 3.0610178 , -0.01304002],
        [-2.56070965, -0.64246875]])

3、利用sklearn中的PCA进行降维

import numpy as np
from sklearn.decomposition import PCA

#导入数据
x=np.array([[10,9],
[2,3],
[1,2],
[7,6.5],
[3,2.5]])
x

x_t=x-x.mean()  #去中心化
x_t

#降维
model_pca=PCA()  #建立PCA模型对象
model_pca.fit(x1)   #将数据输入模型
x_=model_pca.transform(x1)   #将数据集进行转换映射,x_为进行降维过后的数据集，形状和原数据集一样
components=model_pca.components_  #获得转换后的所有主成分
components_var=model_pca.explained_variance_    #获得各主成分的方差
components_var_ratio=model_pca.explained_variance_ratio_   #获得各主成分的方差占比
x_
components
components_var
components_var_ratio

输出：

【参数解析】：

x：原始数据集
x_t：原始数据集去中心化后的数据集
x_：降维过后的数据集
components：转换过后的所有主成分，算法的重点在于求出此主成分（矩阵）；原数据集去中心化之后，乘以该主成分（矩阵），即为降维过后的数据集。有如下关系

$\begin{pmatrix} 5.4 & 4.4\\ -2.6&-1.6 \\ -3.6 & -2.6\\ 2.4& 1.9\\ -1.6 & -2.1 \end{pmatrix}\begin{pmatrix} 0.78139452 &0.62403734 \\ 0.62403734& -0.78139452 \end{pmatrix}=\begin{pmatrix} 6.96529471 & -0.06833425\\ -3.030085496&-0.372265852 \\ -4.435517356 & -0.214908672\\ 3.061017794& 0.013040027\\ -2.560709646 & 0.642468748 \end{pmatrix}$

components_var：转换过后的数据集x_各维度（注：形状和原始数据集一样，但是维度和原始数据集的完全不一样）的数据方差，即x_.var()
components_var_ratio：components_var中各维度的方差，占全部维度方差之和的比例。

4、基于标准化变量的主成分分析

如果变量 $X=(X_{1},...,X_{p})$ 的波动性（由于度量单位不同等原因）差距过大，直接用协方差矩阵 $\Sigma$ 生成的主成分会由方差大的变量主导。

这个时候，我们可对每个变量分别进行标准化： $W_{j}=(X_{j}-\mu _{j})/\sqrt{\sigma _{jj}}$ ，， $\sqrt{\sigma _{jj}}$ 为单个变量的标准差。

则标准化之后的数据 $W=(W_{1},...,W_{p})=D_{s}^{-1}(X-\mu )$ ，其中 $D_{s}=diag(\sqrt{\sigma _{11}},...,\sqrt{\sigma _{pp}})$ ，为原始数据， $\mu$ 为原始数据的均值向量。

所以对标准化后的数据进行主成分分析，即求的协方差矩阵，进而求的特征值和特征向量。

$cov(W)=cov(D_{s}^{-1}(X-\mu ))=D_{s}^{-1}(X-\mu )(X-\mu )^{T}(D_{s}^{-1})^{T}$ ，其中 $(X-\mu )(X-\mu )^{T}$ 即为原数据的协方差矩阵 $\Sigma$ ， $D_{s}$ 为对角阵，则 $(D_{s}^{-1})^{T}=D_{s}^{-1}$ ，代入得： $cov(W)=D_{s}^{-1}\Sigma D_{s}^{-1}=P$ （即为的相关系数矩阵）。

总结：由于 $cov(W)=D_{s}^{-1}\Sigma D_{s}^{-1}=P$ （即为的相关系数矩阵），则对 $W_{1},...,W_{p}$ 进行主成分分析，就相当于基于原变量 $X_{1},...,X_{p}$ 的相关系数矩阵进行主成分分析。

【定理3】记 $(\widetilde{\lambda _{1}},\widetilde{e_{1}})$ ,..., $(\widetilde{\lambda _{p}},\widetilde{e_{p}})$ 为的相关系数矩阵的特征对， $\widetilde{\lambda _{1}}\geq ...\geq \widetilde{\lambda _{p}}\geq 0$ 并且特征向量 $\widetilde{e_{1}},...,\widetilde{e_{p}}$ 是标准化的特征向量。

则对 $W_{1},...,W_{p}$ 进行主成分分析，相当于基于原变量 $X_{1},...,X_{p}$ 的相关系数矩阵进行主成分分析，第个主成分由下式给出：

$V_{j}=\widetilde{e}_{j}^{T}W=\widetilde{e}_{j1}W_{1}+\widetilde{e}_{j2}W_{2}+...+\widetilde{e}_{jp}W_{p},j=1,...,p$

性质： $\sum _{j=1}^{p}var(V_{j})=\sum _{j=1}^{p}var(W_{j})=p$ (注意：相关系数矩阵的对角线都为1）

【小贴士2】

基于相关系数矩阵的主成分分析不受度量单位影响。

与 $\Sigma$ 的特征值、特征向量是不同的，因此两组主成分的数值和方向都是不同的。一组主成分并不是另一组主成分的简单变换。

如果变量数值差异很大，推荐进行标准化来获得一个较平衡的数据集。

5、主成分个数的选择

在主成分分析中，为了有效地归纳数据、达到降维目的，应该使用多少个主成分？

5.1、百分比截点（Percentage cutoff）

使用足够多的主成分来反映一定百分比（比如80%）的总方差 $\frac{\sum ^{k}_{j=1}\lambda _{j}}{\sum ^{p}_{j=1}\lambda _{j}}=80\%$ 。

5.2、平均比截点（Average cutoff）

使用特征值大于平均特征值 $\frac{\sum ^{p}_{j=1}\lambda _{j}}{p}$ 的主成分；对使用相关矩阵做的主成分分析来说，这个平均值为1。

平均截点准则广为使用，是很多软件包的默认准则。

当数据能够在相对较小的维度下被很好地归纳时，特征值可以明显地地分为“大特征值”和“小特征值”。

5.3、碎石图 (Scree graph)：

画出 $\lambda _{j}$ 关于的图像，从图上寻找能区分“大特征值”和“小特征值”的分界点。

6、案例分析：主成分的解读

例：下表记录了52位学生6门功课的考试分数的部分数据， $Y_{1}$ 到 $Y_{6}$ 依次表示数学、物理、化学、语文、历史、英语成绩，部分数据如下：

6.1、计算相关系数矩阵

corr=pd.DataFrame(np.corrcoef(data,rowvar=0))
corr

输出：

6.2、数据标准化

#数据标准化
data_=(data-data.mean(0))/data.std()
data_

输出：

6.3、sklearn实现PCA降维

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

from sklearn.decomposition import PCA
model_pca=PCA()  #建立PCA模型对象
model_pca.fit(data_)   #将数据输入模型
x_=model_pca.transform(data_)   #将数据集进行转换映射,x_为进行降维过后的数据集，形状和原数据集一样
components=model_pca.components_  #获得转换后的所有主成分
components_var=model_pca.explained_variance_    #获得各主成分的方差
components_var_ratio=model_pca.explained_variance_ratio_   #获得各主成分的方差占比

components
components_var
components_var_ratio

输出：

array([[-0.41205198, -0.38117795, -0.33213465,  0.46118457,  0.4205876 ,
         0.43013716],
       [-0.37597731, -0.356706  , -0.5626165 , -0.27852313, -0.41478358,
        -0.40650217],
       [ 0.21582978, -0.80555264,  0.46743533, -0.04426879, -0.25039004,
         0.14612244],
       [-0.78801362,  0.11755209,  0.58763655, -0.02783261, -0.03376008,
        -0.13410793],
       [ 0.0205822 , -0.21203603,  0.0333622 , -0.59904487,  0.73843439,
        -0.22218   ],
       [ 0.14450829, -0.14061074,  0.09068468,  0.59003773,  0.20479353,
        -0.74902427]])

array([3.70990438, 1.26248122, 0.44083653, 0.27050177, 0.16951589,
       0.14676021])

array([0.6183174 , 0.21041354, 0.07347275, 0.04508363, 0.02825265,
       0.02446003])

其中，components代表的是所有的主成分，第一行代表的是第一个主成分 $e_{1}$ ，第二行代表的是第一个主成分 $e_{2}$ ，以此类推。由components_var_ratio我们知道前两个主成分对应的方差之和为0.8287309（超过80%）

6.3、画碎石图，选择主成分个数

import matplotlib.pyplot as plt
plt.plot(components_var,marker='o')

输出：

我们也可以通过观测碎石图，得出结论：取前两个主成分进行进一步的研究。

6.4、解读

根据以上两个主成分，我们是可以写出主成分的构造方式，如下：

$Z_{1}=-0.412Y_{1}-0.381Y_{2}-0.332Y_{3}+0.461Y_{4}+0.421Y_{5}+0.430Y_{6}$

$Z_{2}=-0.376Y_{1}-0.357Y_{2}-0.563Y_{3}-0.279Y_{4}-0.415Y_{5}-0.407Y_{6}$

我们可以将其理解为两个综合指标，那么我们如何来解读呢？

由下图的分解，我们可以将 $Z_{1}$ 指标理解为文理科的偏科情况， $Z_{2}$ 可以理解为全部科目的平均分。

有了这两个指标的意义，进一步探索一些典型学生的样本主成分取值/得分？

x_.round(2)[[5,6,44],:]
data.iloc[[5,6,44],:]

输出：

例如：5,6,44号同学，利用上面的结论：第一列代表的是偏科情况（数值越大文科越好，越小理科越好），说明这三位同学是理科成绩要好于文科（注意：“各科主成分得分”是经PCA降维之后的数据x_），对应我们查看其原始成绩数据：发现确实其理科成绩要优于文科成绩。

x_.round(2)[[29,48],:]
data.iloc[[29,48],:]

输出：

29,48号同学，情况正好相反：文科成绩要好于理科。

print('-----各科主成分得分-----')
x_.round(2)[[25,32],:]
print('-----对应原始成绩-----')
data.iloc[[25,32],:]

输出：

25,32号同学，利用上面的结论：第二列代表的是均衡情况（数值越大总成绩越小，越小总成绩越高），说明这二位同学总成绩是比较高的（各科成绩相对均衡）。

print('-----各科主成分得分-----')
x_.round(2)[[7],:]
print('-----对应原始成绩-----')
data.iloc[[7],:]

输出：

7号同学，情况正好相反：总成绩比较低（不理想）。

二、奇异值分解（SVD）

1、SVD定义

SVD可以看成是对PCA主特征向量的一种解法，在上述PCA介绍过程中，为了求数据的主特征方向，我们通过求协方差矩阵 $\Sigma =\frac{1}{n}X^{T}X$ 的特征向量来表示样本数据的主特征向量，但其实我们可以通过对X进行奇异值分解得到主特征方向，下面我们首先比较一下特征值分解和奇异值分解，然后分析一下特征值和奇异值的关系以及SVD在PCA中的应用。

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m行×n列的矩阵（注意：只有行数m>列数n的矩阵才能进行svd分解），那么我们定义矩阵A的SVD为：

$A=U\Sigma V^{T}$

其中是一个 $m\times m$ 的矩阵， $\Sigma$ 是一个 $m\times n$ 的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，是一个 $n\times n$ 的矩阵。和都是酉矩阵，即满足 $U^{T}U=E$ ， $V^{T}V=E$ 。下图可以很形象的看出上面SVD的定义：

2、如何求出SVD分解后的U,Σ,V这三个矩阵

矩阵：将A的转置和A做矩阵乘法，得到n×n的一个方阵 $A^{T}A$ ，得到的特征值和特征向量满足下式： $(A^{T}A)v_{i}=\lambda _{i}v_{i}$ 。这样可以得到矩阵 $A^{T}A$ 的n个特征值 $\lambda _{i}$ 和对应的n个特征向量 $v_{i}$ 了。将 $A^{T}A$ 的所有特征向量张成一个n×n的矩阵V，就是我们SVD公式里面的V矩阵了。一般我们将V中的每个特征向量叫做A的右奇异向量。
矩阵：将A和A的转置做矩阵乘法，得到m×m的一个方阵 $AA^{T}$ ，得到的特征值和特征向量满足下式： $(AA^{T})u_{i}=\lambda _{i}u_{i}$ 。这样可以得到矩阵 $AA^{T}$ 的m个特征值 $\lambda _{i}$ 和对应的m个特征向量 $u_{i}$ 了。将 $AA^{T}$ 的所有特征向量张成一个m×m的矩阵U，就是我们SVD公式里面的U矩阵了。一般我们将U中的每个特征向量叫做A的左奇异向量。
$\Sigma$ 矩阵：由于Σ除了对角线上是奇异值其他位置都是0，那我们只需要求出每个奇异值σ就可以了。 $A=U\Sigma V^{T}\Rightarrow AV=U\Sigma V^{T}V=U\Sigma \Rightarrow Av_{i}=\sigma _{i}u_{i}\Rightarrow \sigma _{i}=Av_{i}/u_{i}$ ，根据 $\sigma _{i}=Av_{i}/u_{i}$ 算出每一个奇异值 $\sigma _{i}$ ，组成的 $\Sigma$ 矩阵等于 $\begin{pmatrix}\sigma_{1} & 0 & ... & 0 \\ 0 & \sigma_{2} & ... & 0 \\ .& .& .&. \\ .& .& .&. \\ .& .& .&. \\ 0& 0 & ... & \sigma_{n}\\ .& . & .& .\\ 0& 0 & ... & 0 \end{pmatrix}$ ， $\Sigma$ 矩阵为m行*n行的矩阵。

【问题】

为什么 $A^{T}A$ 的特征向量组成的就是我们SVD中的V矩阵，而 $AA^{T}$ 的特征向量组成的就是我们SVD中的U矩阵？

以V矩阵的证明为例。

$A=U\Sigma V^{T}\Rightarrow A^{T}=V\Sigma U^{T}\Rightarrow A^{T}A=V\Sigma U^{T}U\Sigma V^{T}=V\Sigma ^{2}V^{T}$

上式证明使用了 $U^{T}U=E$ ， $E^{T}=E$ 。可以看出 $A^{T}A$ 的特征向量组成的的确就是我们SVD中的V矩阵。类似的方法可以得到的特征向量组成的就是我们SVD中的U矩阵。

进一步我们还可以看出我们的特征值矩阵等于奇异值矩阵的平方，也就是说特征值和奇异值满足如下关系：

$\sigma _{I}=\sqrt{\lambda _{i}}$

这样也就是说，我们可以不用 $\sigma _{i}=Av_{i}/u_{i}$ 来计算奇异值，也可以通过求出 $A^{T}A$ 的特征值取平方根来求奇异值。

得到，取的前个列向量即可，注意：np.linalg.svd()算法得到的是右奇异矩阵的转置矩阵。

左奇异矩阵可以用于行数的压缩。

右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。

3、SVD算法的python实现

import numpy as np
dataMat=pd.DataFrame([[10,9],
[2,3],
[1,2],
[7,6.5],
[3,2.5]])

meanVals=np.mean(dataMat,axis=0) #求dataMat各列均值
meanRemoved=dataMat-meanVals #减去原始数据中的均值，避免协方差计算中出现乘以0的情况
U,sigma,VT = np.linalg.svd(meanRemoved)  #svd分解
U
sigma
VT  #矩阵V的转置矩阵

输出：

array([[-0.72111445, -0.08804519,  0.3845965 , -0.3104834 ,  0.47741762],
       [ 0.31370366, -0.47964546, -0.36128726,  0.08356321,  0.73076601],
       [ 0.45920751, -0.2768988 ,  0.8388389 ,  0.09029741,  0.02551835],
       [-0.31690607,  0.0168014 ,  0.07527715,  0.94221156,  0.07654401],
       [ 0.26510935,  0.82778805,  0.11063315,  0.02647648,  0.48118945]])

array([9.65906966, 0.77612712])

array([[-0.78139452, -0.62403734],
       [ 0.62403734, -0.78139452]])

$A=U\Sigma V^{T}$ $\begin{pmatrix} 5.4 & 4.4\\ -2.6&-1.6 \\ -3.6 & -2.6\\ 2.4& 1.9\\ -1.6 & -2.1 \end{pmatrix}=\begin{pmatrix} -0.72111445 & -0.08804519& 0.3845965& -0.3104834&0.47741762\\0.31370366 & -0.47964546& -0.36128726& 0.08356321 &0.73076601 \\ 0.45920751 & -0.2768988&0.8388389 & 0.09029741 &0.02551835\\ -0.31690607 & 0.0168014&0.07527715 & 0.94221156 &0.07654401\\ 0.26510935 & 0.82778805&0.11063315 & 0.02647648 & 0.48118945\end{pmatrix}\begin{pmatrix} 9.65906966 & 0\\ 0&0.77612712 \\0 & 0\\ 0& 0\\ 0 & 0 \end{pmatrix}\begin{pmatrix} -0.78139452 & -0.62403734\\ 0.62403734&-0.78139452 \end{pmatrix}$

三、主成分分析的特点

有多少个变量就会有多少个正交的主成分；
主成分的变异（方差）之和等于原始变量的所有变异（方差）；
前几大主成分的变异（方差）累计可以解释原多元数据中的多数变异（方差）；
原始自变量间有较高线性相关的情况下可以考虑使用主成分分析，如果原始变量不相，则不需要做主成分分析；
主成分分析适用于正态分布的变量，商业分析中右偏型数据可以通过取对数、Tukey正态性打分等方式可转换为接近正态分布。

你可能感兴趣的:(机器学习,sklearn,数据降维)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
python画出分子化学空间分布（UMAP） Sakaiay python
利用umap画出分子化学空间分布图安装pipinstallumap-learn下面是用一个数据集举的例子importtorchimportumapimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromsklearn.manifoldimportTSNEfromrdkit.Chemimport
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑 python 开发语言
Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。 Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。 Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性 aehrutktrjk 人工智能 easyui 前端 python
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性引言在机器学习和自然语言处理领域，选择合适的训练示例对模型性能至关重要。最大边际相关性(MaximalMarginalRelevance,MMR)是一种优秀的示例选择方法，它不仅考虑了示例与输入的相关性，还注重保持所选示例之间的多样性。本文将深入探讨如何使用MMR来选择示例，以提高AI模型的性能和泛化能力。什么是最大边际相关性(MM
LangChain集成指南:如何利用多样化的AI提供商 aehrutktrjk 人工智能 langchain python
LangChain集成指南:如何利用多样化的AI提供商引言在人工智能和机器学习领域,LangChain已成为一个强大而灵活的框架,允许开发者轻松集成各种AI服务提供商。本文将深入探讨LangChain的集成能力,介绍如何利用不同的AI提供商来增强你的应用程序,并提供实用的代码示例。LangChain集成概览LangChain支持多种AI提供商的集成,这些集成可以分为两类:独立包集成:这些提供商有独
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
【机器学习与R语言】1-机器学习简介苹果酱0567 面试题汇总与解析 java 中间件开发语言 spring boot 后端
1.基本概念机器学习：发明算法将数据转化为智能行为数据挖掘VS机器学习：前者侧重寻找有价值的信息，后者侧重执行已知的任务。后者是前者的先期准备过程：数据——>抽象化——>一般化。或者：收集数据——推理数据——归纳数据——发现规律抽象化：训练：用一个特定模型来拟合数据集的过程用方程来拟合观测的数据：观测现象——数据呈现——模型建立。通过不同的格式来把信息概念化一般化：一般化：将抽象化的知识转换成可用
Python前沿技术：机器学习与人工智能 4.0啊 Python 人工智能 python 机器学习
Python前沿技术：机器学习与人工智能一、引言随着科技的飞速发展，机器学习和人工智能（AI）已经成为了计算机科学领域的热门话题。Python作为一门易学易用且功能强大的编程语言，已经成为了这两个领域的首选语言之一。本文将深入探讨Python在机器学习和人工智能领域的应用，以及一些前沿技术和工具。二、Python机器学习基础2.1机器学习概述机器学习是人工智能（AI）的一个关键子集，它的核心在于让
chatgpt赋能python：如何在Python中计算平均值 tulingtest ChatGpt python chatgpt numpy 计算机
如何在Python中计算平均值计算平均值是数据分析、统计和机器学习等许多领域中的常见任务。Python作为一门功能强大且易于学习的编程语言，为计算平均值提供了多种方法。在本文中，我们将介绍如何在Python中计算平均值。什么是平均值简单来说，平均值是一组数字的总和除以数字的数量。例如，对于数字序列1，3，5，7，9，平均值是(1+3+5+7+9)/5=5。平均值在数据分析中非常有用，因为它可以提供
Python 初学者入门必知： Anaconda是什么？有什么作用？怎么使用？懒大王爱吃狼 Python基础 python 开发语言 python基础 python学习 anaconda anaconda安装 python教程
初学者在学习Python时，经常看到的一个名字是Anaconda。究竟什么是Anaconda，为什么它如此受欢迎？在这篇文章中，我们将探讨Anaconda，了解Anaconda的从安装到使用的。Anaconda是一个免费开源的Python和R编程发行版，包含上千个适用于数据科学和机器学习的包。同时，配备了Spyder和Jupyternotebook等工具，初学者可以使用它们来学习Python，使用
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
一切皆是映射：AI的去中心化：区块链技术的融合 AI大模型应用之禅计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
一切皆是映射：AI的去中心化：区块链技术的融合作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：AI，区块链，去中心化，智能合约，共识机制，数据安全，隐私保护，分布式账本技术，机器学习，数据隐私1.背景介绍1.1问题的由来随着人工智能（AI）技术的快速发展，其在各个领域的应用越来越广泛，从自动驾驶、智能医疗到金融服务，AI正在改变着我们的生活。
java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs java jdk
好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
IT人应当知道的10个行业小内幕 beijingjava 工作互联网
10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
java 实现自定义链表 CrazyMizzz java 数据结构
1.链表结构链表是链式的结构 2.链表的组成链表是由头节点，中间节点和尾节点组成节点是由两个部分组成： 1.数据域 2.引用域 3.链表的实现 &nbs
web项目发布到服务器后图片过一会儿消失麦田的设计者 struts2 上传图片永久保存
作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniter Cart 框架　
今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
linux回收站 _wy_ linux 回收站
今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
jquery回到页面顶端知了ing html jquery css
html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
B树、B-树、B+树、B*树矮蛋蛋 B树
原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
数据库连接池 alafqq 数据库连接池
http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼数据库连接池用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
java泛型百合不是茶 java泛型
泛型在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患泛型的特点：消除强制转换确保类型安全向后兼容简单泛型的定义：泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
javascript闭包[两个小测试例子] bijian1013 JavaScript JavaScript
一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
探索JUnit4扩展：假设机制（Assumption） bijian1013 java Assumption JUnit 单元测试
一.假设机制（Assumption）概述理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
【Gson四】范型POJO的反序列化 bit1129 POJO
在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO import com.google.gson.Gson; import java.
【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
NGINX + LUA实现复杂的控制 ronin47 nginx lua
安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
java-递归判断数组是否升序 bylijinnan java
public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
Netty源码学习-DefaultChannelPipeline2 bylijinnan java netty
Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”：如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB）来
Java工具之JPS chinrui java
JPS使用熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
window.print分页打印 ctrain window
function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
安装hadoop时执行jps命令Error occurred during initialization of VM daizj jdk hadoop jps
在安装hadoop时，执行JPS出现下面错误 [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
PHP开发大型项目的一点经验 dcj3sjt126com PHP 重构
一、变量最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
linux复习笔记之bash shell (3) 通配符 eksliang linux 通配符 linux通配符
转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。下面列出一些常用的通配符，如下表所示符号意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
Android关于短信加密 gqdy365 android
关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）： 1、因为Android有短信收发接口，可以调用接口完成短信收发；发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
asp.net在网站根目录下创建文件夹 hvt .net C#hovertree asp.net Web Forms
假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
一个合格的程序员应该读过哪些书 justjavac 程序员书籍
编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本，你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。以前就有国内网友介绍这个程序员书单，不过都是推荐数
单实例实践跑龙套_az 单例
1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
PO VO BEAN 理解 q137681467 VO DTO po
PO：全称是 persistant object持久对象最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。 BO：全称是 business object:业务对象主要作用是把业务逻辑封装为一个对象。这个对
战胜惰性，暗自努力金笛子努力
偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？我有个朋友是搞技术的，平时嘻嘻哈哈，以
NDK/JNI二维数组多维数组传递 wenzongliang 二维数组 jni NDK
多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s

极值	极值点
$\max_{\mu \neq 0}\frac{\mu^{T}\Sigma \mu}{\mu^{T}\mu}=\lambda _{1}$	$\mu_{1} =e_{1}$
$\max_{\mu \neq 0,\mu_{j} \perp e_{1},..., e_{j-1}}\frac{\mu^{T}\Sigma \mu}{\mu^{T}\mu}=\lambda _{j},j=2,...,p-1$	$\mu_{j} =e_{j}$
$\min_{\mu \neq 0}\frac{\mu^{T}\Sigma \mu}{\mu^{T}\mu}=\lambda _{p}$	$\mu_{p} =e_{p}$