奋斗路上的产品狗

主成分分析(PCA)

主成分分析

[hide]

1 引言
2 实例和数学背景
3 旋转数据
4 数据降维
5 还原近似数据
6 选择主成分个数
7 对图像数据应用PCA算法
8 参考文献
9 中英文对照
10 中文译者

引言

主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解PCA算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。

假设你使用图像来训练算法，因为图像中相邻的像素高度相关，输入数据是有一定冗余的。具体来说，假如我们正在训练的16x16灰度值图像，记为一个256维向量 $\textstyle x \in \Re^{256}$ ，其中特征值 $\textstyle x_j$ 对应每个像素的亮度值。由于相邻像素间的相关性，PCA算法可以将输入向量转换为一个维数低很多的近似向量，而且误差非常小。

实例和数学背景

在我们的实例中，使用的输入数据集表示为 $\textstyle \{x^{(1)}, x^{(2)}, \ldots, x^{(m)}\}$ ，维度 $\textstyle n=2$ 即 $\textstyle x^{(i)} \in \Re^2$ 。假设我们想把数据从2维降到1维。（在实际应用中，我们也许需要把数据从256维降到50维；在这里使用低维数据，主要是为了更好地可视化算法的行为）。下图是我们的数据集：

这些数据已经进行了预处理，使得每个特征 $\textstyle x_1$ 和 $\textstyle x_2$ 具有相同的均值（零）和方差。

为方便展示，根据 $\textstyle x_1$ 值的大小，我们将每个点分别涂上了三种颜色之一，但该颜色并不用于算法而仅用于图解。

PCA算法将寻找一个低维空间来投影我们的数据。从下图中可以看出， $\textstyle u_1$ 是数据变化的主方向，而 $\textstyle u_2$ 是次方向。

也就是说，数据在 $\textstyle u_1$ 方向上的变化要比在 $\textstyle u_2$ 方向上大。为更形式化地找出方向 $\textstyle u_1$ 和 $\textstyle u_2$ ，我们首先计算出矩阵 $\textstyle \Sigma$ ，如下所示：

$\begin{align}\Sigma = \frac{1}{m} \sum_{i=1}^m (x^{(i)})(x^{(i)})^T. \end{align}$

假设 $\textstyle x$ 的均值为零，那么 $\textstyle \Sigma$ 就是x的协方差矩阵。（符号 $\textstyle \Sigma$ ，读"Sigma"，是协方差矩阵的标准符号。虽然看起来与求和符号 $\sum_{i=1}^n i$ 比较像，但它们其实是两个不同的概念。）

可以证明，数据变化的主方向 $\textstyle u_1$ 就是协方差矩阵 $\textstyle \Sigma$ 的主特征向量，而 $\textstyle u_2$ 是次特征向量。

注：如果你对如何得到这个结果的具体数学推导过程感兴趣，可以参看CS229（机器学习）PCA部分的课件（链接在本页底部）。但如果仅仅是想跟上本课，可以不必如此。

你可以通过标准的数值线性代数运算软件求得特征向量（见实现说明）.我们先计算出协方差矩阵 $\textstyle \Sigma$ 的特征向量，按列排放，而组成矩阵 $\textstyle U$ ：

$\begin{align}U = \begin{bmatrix} | & | & & | \\u_1 & u_2 & \cdots & u_n \\| & | & & | \end{bmatrix} \end{align}$

此处， $\textstyle u_1$ 是主特征向量（对应最大的特征值）， $\textstyle u_2$ 是次特征向量。以此类推，另记 $\textstyle \lambda_1, \lambda_2, \ldots, \lambda_n$ 为相应的特征值。

在本例中，向量 $\textstyle u_1$ 和 $\textstyle u_2$ 构成了一个新基，可以用来表示数据。令 $\textstyle x \in \Re^2$ 为训练样本，那么 $\textstyle u_1^Tx$ 就是样本点 $\textstyle x$ 在维度 $\textstyle u_1$ 上的投影的长度（幅值）。同样的， $\textstyle u_2^Tx$ 是 $\textstyle x$ 投影到 $\textstyle u_2$ 维度上的幅值。

旋转数据

至此，我们可以把 $\textstyle x$ 用 $\textstyle (u_1, u_2)$ 基表达为：

$\begin{align}x_{\rm rot} = U^Tx = \begin{bmatrix} u_1^Tx \\ u_2^Tx \end{bmatrix} \end{align}$

（下标“rot”来源于单词“rotation”，意指这是原数据经过旋转（也可以说成映射）后得到的结果）

对数据集中的每个样本 $\textstyle i$ 分别进行旋转： $\textstyle x_{\rm rot}^{(i)} = U^Tx^{(i)}$ for every $\textstyle i$ ，然后把变换后的数据 $\textstyle x_{\rm rot}$ 显示在坐标图上，可得：

这就是把训练数据集旋转到 $\textstyle u_1$ ， $\textstyle u_2$ 基后的结果。一般而言，运算 $\textstyle U^Tx$ 表示旋转到基 $\textstyle u_1$ , $\textstyle u_2$ , ..., $\textstyle u_n$ 之上的训练数据。矩阵 $\textstyle U$ 有正交性，即满足 $\textstyle U^TU = UU^T = I$ ，所以若想将旋转后的向量 $\textstyle x_{\rm rot}$ 还原为原始数据 $\textstyle x$ ，将其左乘矩阵 $\textstyle U$ 即可： $\textstyle x=U x_{\rm rot}$ , 验算一下： $\textstyle U x_{\rm rot} = UU^T x = x$ .

数据降维

数据的主方向就是旋转数据的第一维 $\textstyle x_{{\rm rot},1}$ 。因此，若想把这数据降到一维，可令：

$\begin{align}\tilde{x}^{(i)} = x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)} \in \Re.\end{align}$

更一般的，假如想把数据 $\textstyle x \in \Re^n$ 降到 $\textstyle k$ 维表示 $\textstyle \tilde{x} \in \Re^k$ （令 $\textstyle k < n$ ）,只需选取 $\textstyle x_{\rm rot}$ 的前 $\textstyle k$ 个成分，分别对应前 $\textstyle k$ 个数据变化的主方向。

PCA的另外一种解释是： $\textstyle x_{\rm rot}$ 是一个 $\textstyle n$ 维向量，其中前几个成分可能比较大（例如，上例中大部分样本第一个成分 $\textstyle x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)}$ 的取值相对较大），而后面成分可能会比较小（例如，上例中大部分样本的 $\textstyle x_{{\rm rot},2}^{(i)} = u_2^Tx^{(i)}$ 较小）。

PCA算法做的其实就是丢弃 $\textstyle x_{\rm rot}$ 中后面（取值较小）的成分，就是将这些成分的值近似为零。具体的说，设 $\textstyle \tilde{x}$ 是 $\textstyle x_{{\rm rot}}$ 的近似表示，那么将 $\textstyle x_{{\rm rot}}$ 除了前 $\textstyle k$ 个成分外，其余全赋值为零，就得到：

$主成分分析(PCA)_第1张图片$

在本例中，可得 $\textstyle \tilde{x}$ 的点图如下（取 $\textstyle n=2, k=1$ ）：

然而，由于上面 $\textstyle \tilde{x}$ 的后 $\textstyle n-k$ 项均为零，没必要把这些零项保留下来。所以，我们仅用前 $\textstyle k$ 个（非零）成分来定义 $\textstyle k$ 维向量 $\textstyle \tilde{x}$ 。

这也解释了我们为什么会以 $\textstyle u_1, u_2, \ldots, u_n$ 为基来表示数据：要决定保留哪些成分变得很简单，只需取前 $\textstyle k$ 个成分即可。这时也可以说，我们“保留了前 $\textstyle k$ 个PCA（主）成分”。

还原近似数据

现在，我们得到了原始数据 $\textstyle x \in \Re^n$ 的低维“压缩”表征量 $\textstyle \tilde{x} \in \Re^k$ ，反过来，如果给定 $\textstyle \tilde{x}$ ，我们应如何还原原始数据 $\textstyle x$ 呢？查看以往章节以往章节可知，要转换回来，只需 $\textstyle x = U x_{\rm rot}$ 即可。进一步，我们把 $\textstyle \tilde{x}$ 看作将 $\textstyle x_{\rm rot}$ 的最后 $\textstyle n-k$ 个元素被置0所得的近似表示，因此如果给定 $\textstyle \tilde{x} \in \Re^k$ ，可以通过在其末尾添加 $\textstyle n-k$ 个0来得到对 $\textstyle x_{\rm rot} \in \Re^n$ 的近似，最后，左乘 $\textstyle U$ 便可近似还原出原数据 $\textstyle x$ 。具体来说，计算如下：

$主成分分析(PCA)_第2张图片$

上面的等式基于先前对 $\textstyle U$ 的定义。在实现时，我们实际上并不先给 $\textstyle \tilde{x}$ 填0然后再左乘 $\textstyle U$ ，因为这意味着大量的乘0运算。我们可用 $\textstyle \tilde{x} \in \Re^k$ 来与 $\textstyle U$ 的前 $\textstyle k$ 列相乘，即上式中最右项，来达到同样的目的。将该算法应用于本例中的数据集，可得如下关于重构数据 $\textstyle \hat{x}$ 的点图：

由图可见，我们得到的是对原始数据集的一维近似重构。

在训练自动编码器或其它无监督特征学习算法时，算法运行时间将依赖于输入数据的维数。若用 $\textstyle \tilde{x} \in \Re^k$ 取代 $\textstyle x$ 作为输入数据，那么算法就可使用低维数据进行训练，运行速度将显著加快。对于很多数据集来说，低维表征量 $\textstyle \tilde{x}$ 是原数据集的极佳近似，因此在这些场合使用PCA是很合适的，它引入的近似误差的很小，却可显著地提高你算法的运行速度。

选择主成分个数

我们该如何选择 $\textstyle k$ ，即保留多少个PCA主成分？在上面这个简单的二维实验中，保留第一个成分看起来是自然的选择。对于高维数据来说，做这个决定就没那么简单：如果 $\textstyle k$ 过大，数据压缩率不高，在极限情况 $\textstyle k=n$ 时，等于是在使用原始数据（只是旋转投射到了不同的基）；相反地，如果 $\textstyle k$ 过小，那数据的近似误差太太。

决定 $\textstyle k$ 值时，我们通常会考虑不同 $\textstyle k$ 值可保留的方差百分比。具体来说，如果 $\textstyle k=n$ ，那么我们得到的是对数据的完美近似，也就是保留了100%的方差，即原始数据的所有变化都被保留下来；相反，如果 $\textstyle k=0$ ，那等于是使用零向量来逼近输入数据，也就是只有0%的方差被保留下来。

一般而言，设 $\textstyle \lambda_1, \lambda_2, \ldots, \lambda_n$ 表示 $\textstyle \Sigma$ 的特征值（按由大到小顺序排列），使得 $\textstyle \lambda_j$ 为对应于特征向量 $\textstyle u_j$ 的特征值。那么如果我们保留前 $\textstyle k$ 个成分，则保留的方差百分比可计算为：

$\begin{align}\frac{\sum_{j=1}^k \lambda_j}{\sum_{j=1}^n \lambda_j}.\end{align}$

在上面简单的二维实验中， $\textstyle \lambda_1 = 7.29$ ， $\textstyle \lambda_2 = 0.69$ 。因此，如果保留 $\textstyle k=1$ 个主成分，等于我们保留了 $\textstyle 7.29/(7.29+0.69) = 0.913$ ，即91.3%的方差。

对保留方差的百分比进行更正式的定义已超出了本教程的范围，但很容易证明， $\textstyle \lambda_j =\sum_{i=1}^m x_{{\rm rot},j}^2$ 。因此，如果 $\textstyle \lambda_j \approx 0$ ，则说明 $\textstyle x_{{\rm rot},j}$ 也就基本上接近于0，所以用0来近似它并不会产生多大损失。这也解释了为什么要保留前面的主成分（对应的 $\textstyle \lambda_j$ 值较大）而不是末尾的那些。这些前面的主成分 $\textstyle x_{{\rm rot},j}$ 变化性更大，取值也更大，如果将其设为0势必引入较大的近似误差。

以处理图像数据为例，一个惯常的经验法则是选择 $\textstyle k$ 以保留99%的方差，换句话说，我们选取满足以下条件的最小 $\textstyle k$ 值：

$\begin{align}\frac{\sum_{j=1}^k \lambda_j}{\sum_{j=1}^n \lambda_j} \geq 0.99. \end{align}$

对其它应用，如不介意引入稍大的误差，有时也保留90-98%的方差范围。若向他人介绍PCA算法详情，告诉他们你选择的 $\textstyle k$ 保留了95%的方差，比告诉他们你保留了前120个（或任意某个数字）主成分更好理解。

对图像数据应用PCA算法

为使PCA算法能有效工作，通常我们希望所有的特征 $\textstyle x_1, x_2, \ldots, x_n$ 都有相似的取值范围（并且均值接近于0）。如果你曾在其它应用中使用过PCA算法，你可能知道有必要单独对每个特征做预处理，即通过估算每个特征 $\textstyle x_j$ 的均值和方差，而后将其取值范围规整化为零均值和单位方差。但是，对于大部分图像类型，我们却不需要进行这样的预处理。假定我们将在自然图像上训练算法，此时特征 $\textstyle x_j$ 代表的是像素 $\textstyle j$ 的值。所谓“自然图像”，不严格的说，是指人或动物在他们一生中所见的那种图像。

注：通常我们选取含草木等内容的户外场景图片，然后从中随机截取小图像块（如16x16像素）来训练算法。在实践中我们发现，大多数特征学习算法对训练图片的确切类型并不敏感，所以大多数用普通照相机拍摄的图片，只要不是特别的模糊或带有非常奇怪的人工痕迹，都可以使用。

在自然图像上进行训练时，对每一个像素单独估计均值和方差意义不大，因为（理论上）图像任一部分的统计性质都应该和其它部分相同，图像的这种特性被称作平稳性（stationarity）。

具体而言，为使PCA算法正常工作，我们通常需要满足以下要求：(1)特征的均值大致为0；(2)不同特征的方差值彼此相似。对于自然图片，即使不进行方差归一化操作，条件(2)也自然满足，故而我们不再进行任何方差归一化操作（对音频数据,如声谱,或文本数据,如词袋向量，我们通常也不进行方差归一化）。实际上，PCA算法对输入数据具有缩放不变性，无论输入数据的值被如何放大（或缩小），返回的特征向量都不改变。更正式的说：如果将每个特征向量 $\textstyle x$ 都乘以某个正数（即所有特征量被放大或缩小相同的倍数），PCA的输出特征向量都将不会发生变化。

既然我们不做方差归一化，唯一还需进行的规整化操作就是均值规整化，其目的是保证所有特征的均值都在0附近。根据应用，在大多数情况下，我们并不关注所输入图像的整体明亮程度。比如在对象识别任务中，图像的整体明亮程度并不会影响图像中存在的是什么物体。更为正式地说，我们对图像块的平均亮度值不感兴趣，所以可以减去这个值来进行均值规整化。

具体的步骤是，如果 $\textstyle x^{(i)} \in \Re^{n}$ 代表16x16的图像块的亮度（灰度）值（ $\textstyle n=256$ ），可用如下算法来对每幅图像进行零均值化操作：

$\mu^{(i)} := \frac{1}{n} \sum_{j=1}^n x^{(i)}_j$

$x^{(i)}_j := x^{(i)}_j - \mu^{(i)}$ , for all $\textstyle j$

请注意：1）对每个输入图像块 $\textstyle x^{(i)}$ 都要单独执行上面两个步骤，2）这里的 $\textstyle \mu^{(i)}$ 是指图像块 $\textstyle x^{(i)}$ 的平均亮度值。尤其需要注意的是，这和为每个像素 $\textstyle x_j$ 单独估算均值是两个完全不同的概念。

如果你处理的图像并非自然图像（比如，手写文字，或者白背景正中摆放单独物体），其他规整化操作就值得考虑了，而哪种做法最合适也取决于具体应用场合。但对自然图像而言，对每幅图像进行上述的零均值规整化，是默认而合理的处理。

参考文献

http://cs229.stanford.edu

中英文对照

Principal Components Analysis 主成份分析

whitening 白化

intensity 亮度

mean 平均值

variance 方差

covariance matrix 协方差矩阵

basis 基

magnitude 幅值

stationarity 平稳性

normalization 归一化

eigenvector 特征向量

eigenvalue 特征值

【机器学习理论基础】一文看尽朴素贝叶斯算法大数据AI Machine Learning 机器学习
在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X)Y=f(X)Y=f(X),要么是条件分布P(Y∣X)P(Y|X)P(Y∣X)。但是朴素贝叶斯却是生成方法，也就是直接找出特征输出YYY和特征XXX的联合分布P(X,Y)P(X
【机器学习第十二章——计算学习理论】方寸星河yu 机器学习人工智能
机器学习第十二章——计算学习理论12.计算学习理论12.1基础知识12.1可能学习近似正确假设（PAC）12.3有限假设空间12.4VC维12.计算学习理论12.1基础知识从理论上刻画了若干类型的机器学习问题中的困难和若干类型的机器学习算法的能力这个理论要回答的问题是:在什么样的条件下成功的学习是可能的?在什么条件下某个特定的学习算法可保证成功运行?机器学习理论的一些问题:是否可能独立于学习算法确
一篇文章预览数据挖掘比赛入门 MycountryMyhome
很多学习机器学习的同学来参加数据挖掘比赛,发现数据挖掘比赛和自己学过的机器学习理论完全不一致.所以,我决定写一篇入门文章给那些新人。必须掌握的库scikit-learnscipyseabornmatplotlibpandasHyperopt特征分类:连续数字特征序数特征类别特征时间特征坐标特征文本特征序数特征:定义为无限循环有限个数字。比如某一列只有123类别特征:类别特征和序数特征相似只不过表现
[笔记]机器学习之机器学习理论及案例分析《二》聚类二进制怪兽人工智障聚类机器学习算法
#21天学习挑战赛—机器学习#活动地址：CSDN21天学习挑战赛文章目录前言聚类聚类定义什么是簇聚类分类离群点聚类算法实例K-Means算法(k-均值算法)寻找质心最佳位置关于均值关于距离函数维度灾难定义产生的问题解决办法总结前言聚类聚类是在无标记样本的条件下将数据进行分组，从而发现天然的结构。聚类是无监督学习的主要任务，分类是监督学习的主要任务。聚类主要应用在：发现数据的潜在结构对数据进行自然分
Python数据分析的入门路线皮皮大
最近发现了一个自学Python数据分析的好地方，这里的原创文章高达200+篇，大家一起来看看，可以关注学习起来喔❤️公众号的原创文章涉及：Python数据分析、爬虫、机器学习、kaggle案例分享、MySQL、可视化等，下面是部分原创文章：一、机器学习+kaggle案例机器学习和数据分析案例分享是尤而小屋的核心内容，主要包含机器学习理论+kaggle比赛+数据分析的分享：机器学习（1）部分关于机器
【机器学习理论】2023 Spring 期中考试 CSCI5030 Midterm 叼辣条闯天涯机器学习理论机器学习人工智能
Date&Time:16/03/2023,12:30-2:00pmQuestion1(True/False,20Points):Forthisquestion,youneedtoanswerwhichofthefollowingstatementsaretrueandwhichonesarefalse.Youalsoneedtoprovideashortexplanationforyourtrue
【机器学习理论】2023 Spring Homework 1 叼辣条闯天涯机器学习理论机器学习概率论人工智能
PleaselogintoGradescopeviayourCUHKaccountandusetheentrycode:6ZWGYDProblem1(GaussianDistributionasanExponentialFamily):WeshowedGaussiandistributionN(μ,σ2)\mathcal{N}\left(\mu,\sigma^{2}\right)N
【机器学习理论】人工神经网络之神经元的MP模型 Li Yuexi 机器学习理论神经网络人工智能机器学习人工智能神经网络
神经元的MP模型1神经元的生理结构2神经元的数学模型2.1从生理结构到MP模型的构建过程2.2MP模型的直观图示2.3MP模型的标准形式2.4MP模型的向量形式2.5小结3MP模型的加权求和的数学意义4总结人工神经网络是人工智能仿生学派的一大创造，人工神经网络的诞生极大地受到人体内的真实的神经元的生理结构的启发，并且最初的神经元的数学模型就是仿照真实的神经元的结构来设计的，所以在介绍神经元的MP模
【机器学习理论】2023 Spring 期末考试 CSCI5030 Finalterm 叼辣条闯天涯机器学习理论机器学习人工智能
CSCI5030:FinalSolutionsDate&Time:May4,2:00-4:00pmQuestion1(True/False,20Points):Forthisquestion,youneedtoanswerwhichofthefollowingstatementsaretrueandwhichonesarefalse.Youalsoneedtoprovideashortexplan
适合进阶学习的机器学习开源项目（可快速下载） GitCode官方开源项目学习机器学习开源
目录开源项目合集[>>开源的机器学习平台：mlflow/mlflow](https://gitcode.com/mlflow/mlflow)[>>机器学习路线图：mrdbourke/machine-learning-roadmap](https://gitcode.com/mrdbourke/machine-learning-roadmap)[>>机器学习理论和实践的合集：ben1234560/A
2020-07-23计算学习理论 BOLDRainbow
1.章节主要内容机器学习理论（computationallearningtheory）研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。这章内容相对比较抽象，它关注的更多是算法能产生的数据与结果之间的映射与实际映射的贴近程度和稳定程度，而不是具体的算法的优劣。这是一个在更高层面审视机器学习算法
Python数据挖掘与机器学习实践技术应用思考的小猴子机器学习 python 数据挖掘机器学习
近年来，Python编程语言受到越来越多科研人员的喜爱，在多个编程语言排行榜中持续夺冠。同时，伴随着深度学习的快速发展，人工智能技术在各个领域中的应用越来越广泛。机器学习是人工智能的基础，因此，掌握常用机器学习算法的工作原理，并能够熟练运用Python建立实际的机器学习模型，是开展人工智能相关研究的前提和基础。为各领域人员量身定制课程内容，让你畅学Python编程及机器学习理论与代码实现方法，从“
初步认识cortex（CTXC） hp_6482
一、资料1、白皮书（EN）http://www.cortexlabs.ai/Cortex_AI_on_Blockchain_EN.pdf2、官方网站（EN）http://www.cortexlabs.ai/3、团队+顾问CEO——陈子祺，清华大学、卡耐基梅隆大学、加州大学圣克鲁斯分校学习。在早期的学习经历中，师从DavidP.Helmbold研究机器学习理论和各种算法应用，精通共识算法和共有链生态
8.1 有监督学习算法 adamlay 大课笔记——数据分析
有监督学习算法0.机器学习理论基础根据酒精浓度、颜色深度判断红酒类别常用机器学习算法体系有监督学习无监督学习半监督学习强化学习输入/输出空间、特征空间过拟合与欠拟合1.KNN/K近邻算法1.1算法原理1.2算法的优缺点1.3算法的变种1.4Python代码实现1.5SCIKIT-LEARN算法库实现主要设计原则：案例1.6选择最优K值绘制学习曲线1.7交叉验证1.7.1泛化能力1.7.2K折交叉验
对偶理论：基本概念札记三翼鸟数字化技术团队人工智能机器学习算法
1.前言在读论文或者学习机器学习理论时，常常看到对偶的身影。但因为对对偶问题的理解不够透彻，在看机器学习理论相关理论时也是懵懵懂懂。所以本文整理了对偶理论的基本概念，帮助理解记忆。本文主要描述：优化问题的标准形式，即原问题的基本定义；介绍Lagragian函数，Lagrage对偶函数/对偶函数，Lagrage对偶问题/对偶问题等基本概念；介绍将原问题转化为对偶问题的方法。优化问题的标准形式（原问题
一、大数据与机器学习-概述-笔记火蓝棋大数据机器学习-笔记
一、什么是机器学习？机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。二、机器学习应用场景举例1.Gam
TensorFlow03-实现线性回归 __流云
deftest01_liner():#用numpy生成100个点x_data=np.random.rand(100)y_data=x_data*0.1+0.2#构造一个线程模型#k:斜率;b:偏置值b=tf.Variable(0.)k=tf.Variable(0.)y=k*x_data+b#定义二次方差损失函数，用于优化计算结果，机器学习理论部分#求得预测值和实际值的平方差，用于判断计算结果的损失
机器学习和python学习之路吐血整理技术书从入门到进阶(珍藏版) rocling 人工智能人工智能
极客侠网站导航（全部书单资源导航页）：https://pymlovelyq.github.io/archives/“机器学习／深度学习并不需要很多数学基础！”也许你在不同的地方听过不少类似这样的说法。对于鼓励数学基础不好的同学入坑机器学习来说，这句话是挺不错的。不过，机器学习理论是与统计学、概率论、计算机科学、算法等方面交叉的领域，对这些技术有一个全面的数学理解对理解算法的内部工作机制、获取好的结
001、torch笔记 Here we are——wxl torch 笔记
之——开始目录之——开始初衷杂谈正文1.大致框架2.数据操作基础2.1数组2.2广播机制2.4不常用的原地内存操作2.5numpy与tensor相互转换所属专栏会不断更新初衷学而时习之，太多东西来得杂乱，不用就忘，浅记一下，一些小的心得和想法杂谈2023.10.3，笑死是生日不过新的一年开始也很不错本科阶段学了很多模式识别机器学习理论，多部署少研究和编写，现在刚开始系统化动手。用上了jupyter
基于支持向量机 (SVM) 和稀疏表示理论 (SRC) 的人脸识别比较西部小狼_
一背景1.1支持向量机简介支持向量机（SupportVectorMachine，SVM）是AT&TBell实验室的V.Vapnik等人提出的一种机器学习算法，是迄今为止最重要的机器学习理论和方法之一，也是应用最广泛、综合效果最好的模式分类技术之一。到目前为止，支持向量机已应用于孤立手写字符识别、网页或文本自动分类、说话人识别、人脸检测、性别分类、计算机入侵检测、基因分类、遥感图象分析、目标识别、函
python 知乎 sklearn_sklearn：Python语言开发的通用机器学习库 weixin_39723678 python 知乎 sklearn
深入理解机器学习并完全看懂sklearn文档，需要较深厚的理论基础。但是，要将sklearn应用于实际的项目中，只需要对机器学习理论有一个基本的掌握，就可以直接调用其API来完成各种机器学习问题。sklearn介绍scikit-learn是Python语言开发的机器学习库，一般简称为sklearn，目前算是通用机器学习算法库中实现得比较完善的库了。其完善之处不仅在于实现的算法多，还包括大量详尽的文
近期微软重大论文----《通用人工智能的火花：GPT-4的早期实验》小林猿~ chatgpt 人工智能深度学习 microsoft python stable diffusion
这篇论文是最近讨论度极高的一篇论文，推特上几乎被这篇论文刷屏，作者SebastienBubeck是微软机器学习基础组的研究经理。他本人之前的研究主要集中在机器学习理论，凸优化，对抗鲁棒性方法，下面是该大佬的个人主页：虽然作者是做理论ML出身，但是这篇论文中却没有利用机器学习的方法来对GPT-4进行分析，而是从心理学，哲学的角度出发来探讨评估GPT-4的智能。我个人认为这篇论文会是今年最重要的论文之
机器学习中为什么需要梯度下降_机器学习理论（四）线性回归中的梯度下降法... weixin_39607423 机器学习中为什么需要梯度下降线性分组码的最小汉明距为6 线性回归梯度下降法python
(小小：机器学习的经典算法与应用)(小小：机器学习理论（一）KNN-k近邻算法)(小小：机器学习理论（二）简单线性回归)(小小：机器学习理论（三）多元线性回归)(小小：机器学习理论（四）线性回归中的梯度下降法)(小小：机器学习理论（五）主成分分析法)(小小：机器学习理论（六）多项式回归)(小小：机器学习理论（七）模型泛化)(小小：机器学习理论（八）逻辑回归)(小小：机器学习理论（九）分类算法的评价
Robocup 仿真2D 学习笔记（一） ubuntu16.04 搭建 robocup 仿真2D环境 markchalse robocup2D robocup 仿真 2D ubuntu16 环境搭建
前言robocup2D是一个仿真机器人足球比赛，也是一个研究多智能体强化学习等机器学习理论算法的优秀平台，在接下来的一段时间，通过学习如何在robocup2D仿真比赛中运用机器学习算法，提高一个球队底层的实力。本文将在ubuntu16.04系统中搭建robcup2D开发环境，因为手中只有15版本的开发环境，但是在安装中与在ubuntu12.04的环境搭建过程有一些不同。本文介绍的搭建过程比较粗略，
量化：基于支持向量机的择时策略无名J0kзr 量化支持向量机算法机器学习
文章目录参考机器学习简介策略简介SVM简介整体流程收集数据准备数据建立模型训练模型测试模型调节参数参考Python机器学习算法与量化交易利用机器学习模型，构建量化择时策略机器学习简介机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也
机器学习理论笔记（二）：数据集划分以及模型选择蓝色是天蓝色是天的机器学习笔记机器学习笔记人工智能数据集验证数据集
文章目录1前言2经验误差与过拟合3训练集与测试集的划分方法3.1留出法（Hold-out）3.2交叉验证法（CrossValidation）3.3自助法（Bootstrap）4调参与最终模型5结语1前言欢迎来到蓝色是天的机器学习笔记专栏！在上一篇文章《机器学习理论笔记（一）：初识机器学习》中，我们初步了解了机器学习，并探讨了其定义、分类以及基本术语。作为继续学习机器学习的进一步之旅，今天我们将进一
机器学习里面数学知识，到底对数学水平要求多高？ yoku酱
过去几个月里，有不少人联系我，向我表达他们对数据科学、对利用机器学习技术探索统计规律性，开发数据驱动的产品的热情。但是，我发现他们中有些人实际上缺少为了获取有用结果的必要的数学直觉和框架。这是我写这篇文章的主要原因。最近，许多好用的机器和深度学习软件变得十分易得，例如scikit-learn，Weka，Tensorflow，等等。机器学习理论是与统计学、概率论、计算机科学、算法等方面交叉的领域，它
机器学习理论笔记（一）：初识机器学习蓝色是天蓝色是天的机器学习笔记机器学习笔记人工智能 NFL 西瓜书
文章目录1前言：蓝色是天的机器学习笔记专栏1.1专栏初衷与定位1.2本文主要内容2机器学习的定义2.1机器学习的本质2.2机器学习的分类3机器学习的基本术语4探索"没有免费的午餐"定理（NFL）5结语1前言：蓝色是天的机器学习笔记专栏尊敬的读者们，大家好！欢迎来到我的全新专栏：《蓝色是天的机器学习笔记》。我感到无比兴奋，能够在这里与各位分享我对机器学习的热爱与探索。这个专栏将成为我记录机器学习知识
Python 数据挖掘与机器学习 xiao5kou4chang6kai4 农业生态气象 python 数据挖掘机器学习
近年来，Python编程语言受到越来越多科研人员的喜爱，在多个编程语言排行榜中持续夺冠。同时，伴随着深度学习的快速发展，人工智能技术在各个领域中的应用越来越广泛。机器学习是人工智能的基础，因此，掌握常用机器学习算法的工作原理，并能够熟练运用Python建立实际的机器学习模型，是开展人工智能相关研究的前提和基础。畅学Python编程及机器学习理论与代码实现方法，从“基础编程→机器学习→代码实现”逐步
Python数据分析宝藏地带！计算机视觉研究院可视化聚类数据分析 python 机器学习
给大家推荐一个Python机器学习、数据分析的好地方：尤而小屋。这里的原创文章高达260+篇，主要内容涉及：Python机器学习、数据分析、爬虫、kaggle案例分享、Pandas、MySQL、可视化、工具利器等，大家一起来看看，可以关注学习起来喔❤️下面是部分优质原创文章：一、机器学习+kaggle案例机器学习和数据分析案例分享是尤而小屋的核心内容，主要包含机器学习理论+kaggle比赛+数据分
书其实只有三类西蜀石兰类
一个人一辈子其实只读三种书，知识类、技能类、修心类。知识类的书可以让我们活得更明白。类似十万个为什么这种书籍，我一直不太乐意去读，因为单纯的知识是没法做事的，就像知道地球转速是多少一样（我肯定不知道），这种所谓的知识，除非用到，普通人掌握了完全是一种负担，维基百科能找到的东西，为什么去记忆？知识类的书，每个方面都涉及些，让自己显得不那么没文化，仅此而已。社会认为的学识渊博，肯定不是站在
《TCP/IP 详解，卷1：协议》学习笔记、吐槽及其他 bylijinnan tcp
《TCP/IP 详解，卷1：协议》是经典，但不适合初学者。它更像是一本字典，适合学过网络的人温习和查阅一些记不清的概念。这本书，我看的版本是机械工业出版社、范建华等译的。这本书在我看来，翻译得一般，甚至有明显的错误。如果英文熟练，看原版更好： http://pcvr.nl/tcpip/ 下面是我的一些笔记，包括我看书时有疑问的地方，也有对该书的吐槽，有不对的地方请指正： 1.
Linux—— 静态IP跟动态IP设置 eksliang linux IP
一.在终端输入 vi /etc/sysconfig/network-scripts/ifcfg-eth0 静态ip模板如下： DEVICE="eth0" #网卡名称 BOOTPROTO="static" #静态IP（必须） HWADDR="00:0C:29:B5:65:CA" #网卡mac地址 IPV6INIT=&q
Informatica update strategy transformation 18289753290
更新策略组件：标记你的数据进入target里面做什么操作，一般会和lookup配合使用，有时候用0,1,1代表 forward rejected rows被选中，rejected row是输出在错误文件里，不想看到reject输出，将错误输出到文件，因为有时候数据库原因导致某些column不能update，reject就会output到错误文件里面供查看，在workflow的
使用Scrapy时出现虽然队列里有很多Request但是却不下载，造成假死状态酷的飞上天空 request
现象就是：程序运行一段时间，可能是几十分钟或者几个小时，然后后台日志里面就不出现下载页面的信息，一直显示上一分钟抓取了0个网页的信息。刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成，但是水平有限研究源码未果。经过不停的google终于发现一个有价值的信息，是给twisted提出的一个bugfix 连接地址如下http://twistedmatrix.
利用预测分析技术来进行辅助医疗蓝儿唯美医疗
2014年，克利夫兰诊所（Cleveland Clinic）想要更有效地控制其手术中心做膝关节置换手术的费用。整个系统每年大约进行2600例此类手术，所以，即使降低很少一部分成本，都可以为诊所和病人节约大量的资金。为了找到适合的解决方案，供应商将视野投向了预测分析技术和工具，但其分析团队还必须花时间向医生解释基于数据的治疗方案意味着什么。克利夫兰诊所负责企业信息管理和分析的医疗
java 线程(一)：基础篇 DavidIsOK java 多线程线程
&nbs
Tomcat服务器框架之Servlet开发分析 aijuans servlet
最近使用Tomcat做web服务器，使用Servlet技术做开发时，对Tomcat的框架的简易分析：疑问：为什么我们在继承HttpServlet类之后，覆盖doGet(HttpServletRequest req, HttpServetResponse rep)方法后，该方法会自动被Tomcat服务器调用，doGet方法的参数有谁传递过来？怎样传递？分析之我见： doGet方法的
揭秘玖富的粉丝营销之谜与小米粉丝社区类似 aoyouzi 揭秘玖富的粉丝营销之谜
玖富旗下悟空理财凭借着一个微信公众号上线当天成交量即破百万，第七天成交量单日破了1000万;第23天时，累计成交量超1个亿……至今成立不到10个月，粉丝已经超过500万，月交易额突破10亿，而玖富平台目前的总用户数也已经超过了1800万，位居P2P平台第一位。很多互联网金融创业者慕名前来学习效仿，但是却鲜有成功者，玖富的粉丝营销对外至今仍然是个谜。　　近日，一直坚持微信粉丝营销
Java web的会话跟踪技术百合不是茶 url会话 Cookie会话 Seession会话 Java Web 隐藏域会话
会话跟踪主要是用在用户页面点击不同的页面时,需要用到的技术点会话:多次请求与响应的过程 1,url地址传递参数,实现页面跟踪技术格式:传一个参数的 url?名=值传两个参数的 url?名=值 &名=值关键代码
web.xml之Servlet配置 bijian1013 java web.xml Servlet配置
定义： <servlet> <servlet-name>myservlet</servlet-name> <servlet-class>com.myapp.controller.MyFirstServlet</servlet-class> <init-param> <param-name>
利用svnsync实现SVN同步备份 sunjing SVN 同步 E000022 svnsync 镜像
1. 在备份SVN服务器上建立版本库 svnadmin create test 2. 创建pre-revprop-change文件 cd test/hooks/ cp pre-revprop-change.tmpl pre-revprop-change 3. 修改pre-revprop-
【分布式数据一致性三】MongoDB读写一致性 bit1129 mongodb
本系列文章结合MongoDB，探讨分布式数据库的数据一致性，这个系列文章包括：数据一致性概述与CAP 最终一致性(Eventually Consistency) 网络分裂(Network Partition)问题多数据中心(Multi Data Center) 多个写者(Multi Writer)最终一致性一致性图表(Consistency Chart) 数据
Anychart图表组件-Flash图转IMG普通图的方法白糖_ Flash
问题背景：项目使用的是Anychart图表组件，渲染出来的图是Flash的，往往一个页面有时候会有多个flash图，而需求是让我们做一个打印预览和打印功能，让多个Flash图在一个页面上打印出来。那么我们打印预览的思路是获取页面的body元素，然后在打印预览界面通过$("body").append(html)的形式显示预览效果，结果让人大跌眼镜：Flash是
Window 80端口被占用 WHY? bozch 端口占用 window
平时在启动一些可能使用80端口软件的时候，会提示80端口已经被其他软件占用，那一般又会有那些软件占用这些端口呢？下面坐下总结： 1、web服务器是最经常见的占用80端口的，例如：tomcat , apache , IIS , Php等等； 2
编程之美-数组的最大值和最小值-分治法（两种形式） bylijinnan 编程之美
import java.util.Arrays; public class MinMaxInArray { /** * 编程之美数组的最大值和最小值分治法 * 两种形式 */ public static void main(String[] args) { int[] t={11,23,34,4,6,7,8,1,2,23}; int[]
Perl正则表达式 chenbowen00 正则表达式 perl
首先我们应该知道 Perl 程序中，正则表达式有三种存在形式，他们分别是：匹配：m/<regexp>;/ （还可以简写为 /<regexp>;/ ，略去 m）替换：s/<pattern>;/<replacement>;/ 转化：tr/<pattern>;/<replacemnt>;
[宇宙与天文]行星议会是否具有本行星大气层以外的权力呢? comsci
举个例子: 地球,地球上由200多个国家选举出一个代表地球联合体的议会,那么现在地球联合体遇到一个问题,地球这颗星球上面的矿产资源快要采掘完了....那么地球议会全体投票,一致通过一项带有法律性质的议案,既批准地球上的国家用各种技术手段在地球以外开采矿产资源和其它资源........ &
Oracle Profile 使用详解 daizj oracle profile 资源限制
Oracle Profile 使用详解转一、目的： Oracle系统中的profile可以用来对用户所能使用的数据库资源进行限制，使用Create Profile命令创建一个Profile，用它来实现对数据库资源的限制使用，如果把该profile分配给用户，则该用户所能使用的数据库资源都在该profile的限制之内。二、条件：创建profile必须要有CREATE PROFIL
How HipChat Stores And Indexes Billions Of Messages Using ElasticSearch & Redis dengkane elasticsearch Lucene
This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual space, one you might not
循环小示例，菲波拉契序列，循环解一元二次方程以及switch示例程序 dcj3sjt126com c 算法
# include <stdio.h> int main(void) { int n; int i; int f1, f2, f3; f1 = 1; f2 = 1; printf("请输入您需要求的想的序列："); scanf("%d", &n); for (i=3; i<n; i
macbook的lamp环境 dcj3sjt126com lamp
sudo vim /etc/apache2/httpd.conf /Library/WebServer/Documents 是默认的网站根目录重启Mac上的Apache服务这个命令很早以前就查过了，但是每次使用的时候还是要在网上查：停止服务：sudo /usr/sbin/apachectl stop 开启服务：s
java ArrayList源码下 shuizhaosi888 ArrayList源码
版本 jdk-7u71-windows-x64 JavaSE7 ArrayList源码上：http://flyouwith.iteye.com/blog/2166890 /** * 从这个列表中移除所有c中包含元素 */ public boolean removeAll(Collection<?> c) {
Spring Security（08）——intercept-url配置 234390216 Spring Security intercept-url 访问权限访问协议请求方法
intercept-url配置目录 1.1 指定拦截的url 1.2 指定访问权限 1.3 指定访问协议 1.4 指定请求方法 1.1 &n
Linux环境下的oracle安装 jayung oracle
linux系统下的oracle安装本文档是Linux(redhat6.x、centos6.x、redhat7.x) 64位操作系统安装Oracle 11g(Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production)，本文基于各种网络资料精心整理而成，共享给有需要的朋友。如有问题可联系：QQ：52-7
hotspot虚拟机 leichenlei java HotSpot jvm 虚拟机文档
JVM参数 http://docs.oracle.com/javase/6/docs/technotes/guides/vm/index.html JVM工具 http://docs.oracle.com/javase/6/docs/technotes/tools/index.html JVM垃圾回收 http://www.oracle.com
读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” noaighost Web node.js
读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” 眼里的Node.JS 初初接触node是一年前的事，那时候年少不更事。还在纠结什么语言可以编写出牛逼的程序，想必每个码农都会经历这个月经性的问题：微信用什么语言写的？facebook为什么推荐系统这么智能，用什么语言写的？dota2的外挂这么牛逼，用什么语言写的？……用什么语言写这句话，困扰人也是阻碍
快速开发Android应用 rensanning android
Android应用开发过程中，经常会遇到很多常见的类似问题，解决这些问题需要花时间，其实很多问题已经有了成熟的解决方案，比如很多第三方的开源lib，参考 Android Libraries 和 Android UI/UX Libraries。编码越少，Bug越少，效率自然会高。但可能由于根本没听说过、听说过但没用过、特殊原因不能用、自己已经有了解决方案等等原因，这些成熟的解决
理解Java中的弱引用 tomcat_oracle java 工作面试
　不久之前，我面试了一些求职Java高级开发工程师的应聘者。我常常会面试他们说，“你能给我介绍一些Java中得弱引用吗？”，如果面试者这样说，“嗯，是不是垃圾回收有关的？”，我就会基本满意了，我并不期待回答是一篇诘究本末的论文描述。　　然而事与愿违，我很吃惊的发现，在将近20多个有着平均5年开发经验和高学历背景的应聘者中，居然只有两个人知道弱引用的存在，但是在这两个人之中只有一个人真正了
标签输出html标签" target="_blank">关于标签输出html标签 xshdch jsp
http://back-888888.iteye.com/blog/1181202 关于<c:out value=""/>标签的使用，其中有一个属性是escapeXml默认是true(将html标签当做转移字符，直接显示不在浏览器上面进行解析)，当设置escapeXml属性值为false的时候就是不过滤xml，这样就能在浏览器上解析html标签， &nb