Stanford大学第八周学习笔记

我已经  提到过 PCA 有时可以  用来提高机器学习算法的速度 

0:07

在本节课的视频中  讲解如何在实际操作中  来实现 同时列举  一些例子 只是希望能够  提供一些应用 PCA 的建议 

0:17

首先我先介绍如何通过 PCA 来提高学习算法的速度  这种监督学习算法的提速  实际上也是  我个人经常通过使用  PCA 来实现的一种功能  比如说你遇到了一个监督学习问题  注意这个  监督学习算法问题有  输入 x 和 标签 y  假如说你的样本  x(i) 是非常高维的数据  比如说 x(i) 是  一个10,000维的向量 

0:45

比如说其中的一个例子是  你在解决某个计算机  视觉的问题 在这里有  一张100 × 100的图片 那么  如果是100×100 那就是10000  像素 如果 x(i) 是  包含了  这10000像素  强度值的特征向量 那么  你就会有10000维特征向量 

1:06

像这样有很高维  的特征向量   运行会比较慢  如果你输入10,000维  的特征向量到逻辑回归中  或者到一个神经网络、支持向量机中 或者任何别的算法中  由于这是一个很大量的数据集  有10,000个数据 

1:24

因此这会使得学习算法运行得更慢 

1:27

幸运的是 通过使用 PCA 我们  能够降低数据的维数  从而使得  算法能够更加高效地运行  这就是其中  的原理 首先我们需要  检查带标签的  的训练数据集并提取出  输入数据 我们只需要提取出 x  并暂时把 y 放在一边  这一步我们会得到  一组无标签的训练集 从 x(1)  到 x(m) 这可能会有  10,000维数据  也就是10,000维数据样本  所以 就是从数据组中 

1:58

x(1) 到 x(m) 中提取出输入向量 

2:00

然后我们应用PCA  从中我们  会得到一个降维的  数据 与刚才的  10,000维特征相比 我现在  就只有1000维特征向量  因此这就降低了10倍的维数 

2:15

这就给了我们一个新的训练集  所以之前我有  这样一个样本 x(1), y(1)  这是我的第一个训练集的输入 现在用 z(1) 来表示  这样我们就有了  一个新的训练集样本 

2:28

其中 z(1) 与 y(1) 是一对儿 

2:30

同样地 z(2) 对应 y(2) 等等 一直到 z(m) 对 y(m)  因为现在的训练集  由这样一个  更加低维的数据集所代替 z(1),z(2) 一直到 z(m)  最后 我可以将这个 

2:43

已经降维的数据集  输入到学习算法 或者是将其  放入到神经网络中 或者是  逻辑回归中 可以  学习出假设 h  把这个作为输入 这些低维的  z 作为输入 并作出预测 

2:57

所以比如说在使用逻辑回归时  我应该训练得到  某一个假设函数 其输出是  1除以1加e的  负的θ次方 转置 

3:07

乘以 z 这个式子将  z 向量作为  输入 并得出一个预测值 

3:15

最后 如果你有  一个新的样本 比如说一个新的  测试样本 x  你所要做的是  将你的测试样本 x 

3:24

通过同样的过程操作下来  通过 PCA  你会得到所对应的 z  然后这个 z 值  又可以输入到这个假设式子中  这个假设之后会对你输入的  x作出一个预测 

3:38

最后要注意一点 PCA  定义了从  x到z的对应关系  这种从 x 到  z的对应关系只可以通过  在训练集上运行 PCA 定义出来  具体来讲 这种  PCA所学习出的对应关系  所做的就是计算出一系列的参数  这就是特征缩放和均值归一化  同时也计算出这样一个降维的矩阵Ureduce  但是降维矩阵 Ureduce 中的数据  就像一个  PCA所学习的参数一样  我们需要  使我们的参数唯一地适应  这些训练集 而不是  适应我们的交叉验证或者测试集  因此Ureduce矩阵中的数据  就应该  只通过对训练集运行PCA来获得  找出了降维矩阵Ureduce 或者找出了这些特征扩展的参数之后  均值均一化  并扩展可以  用分隔可以比较的规格  在训练集中找到了  所有这些参数后 就可以  将同样的对应关系应用到其他样本中了 可能  是交叉验证数集样本 或者  用在你的测试数据集中  总结一下 当你在  运行PCA的时候 只是在  训练集那一部分  来进行的  而不是 交叉验证的数据集  这就定义了从  x到z的映射 然后你就可以  将这个映射应用到  交叉验证数据集中和  测试数据集中 通过这个  例子中的这种方式  我们讨论了将数据从  上万维降到  千维 这实际上  并不切实际  因为对于大多数我们实际面对的数据降维问题 

5:17

降维到原来的五分之一或者十分之一  依旧保持着原本维度数据的变化情况  改变并不会有多少影响 

5:23

就分类的精确度而言  数据降维后对学习算法  几乎没有什么影响  如果我们将降维  用在低维数据上  我们的学习算法会运行得更快  总之   迄今为止我们讨论过的有关PCA的应用中 

5:41

第一个是数据压缩  我们可以借此  减少内存或者磁盘空间的使用  以存取更多的数据  正如刚刚我们讨论过的  就是如何使用数据压缩以加快学习算法的例子  在这些应用中  为了选择一个k值  我们将会根据  保留方差的百分比  来确定k值  对于一个学习算法来说  加快应用将会保留99%的方差  在如何选择k值的问题上  这就是一个很典型的问题  也就是说k的选择是一个数据压缩的应用 

6:17

然而对于可视化应用来说 

6:20

我们通常知道  如何将二维  或者三维的数据进行可视化 

6:26

所以对于可视化应用  我们选择的K值要么等于2  要么等于3  因为我们能画出二维和三维的数据集 

6:34

所以  我们来总结一下PCA的主要应用  其实也就是  对于不同的应用来选择K值 

6:42

我要提醒的是有一个频繁  被误用的PCA应用  你有时或许能听到其他人这么做   当然我们不希望这样  我只是想提醒你不要这么做  这是一个对PCA不好的应用方面  那就是使用它来避免过拟合 

7:00

下面是原因 

7:01

这并不是一个  合适的PCA应用  下面  我就来讲原因  如果我们有x(i)  或许x(i)是有n个特征的数据集  如果我们将数据进行压缩  并用压缩后的数据z(i)来代替原始数据  在降维过程中  我们从n个特征降维到k个  比先前的维度低  例如如果我们有  非常小的特征数目  假如k值为1000  n值为10000  如果我们有1000维度的数据  和我们用10000维度的数据比起来  对于同样是1000个特征来说 

7:33

或许更不容易过拟合  所以有些人认为  PCA是一种避免过拟合的方法  但我这里要强调一下  PCA在过拟合问题上的应用是不合适的  并且我不建议这么做  不仅仅这个方法的效果很差  如果你想使用  PCA方法来对数据降维  以避免过拟合  PCA方法实际看起来是可以的  但是这并不是  一个用来解决  过拟合问题的算法  如果你比较担心过拟合问题  有更好的方法来解决  那就是使用正则化方法  代替PCA来对数据进行降维  原因是 

8:11

如果你仔细想想PCA是如何工作的  它并不需要使用数据的标签   你只需要看好  输入数据x(i)  同时使用这个方法  来寻找更低维度的数据近似  那么 PCA做了什么呢  它把某些信息舍弃掉了 

8:26

舍弃掉一些数据  并在你对数据标签y值毫不知情的情况下  对数据进行降维  所以  这或许是一个使用PCA方法  的可行之路  如果保留99%  的方差  即保留绝大部分的方差  那也就是舍弃掉某些有用信息  事实证明  当你在保留99%  或者95%  或者其它百分比的方差时  结果表明  就只使用正则化将会给你  一种避免过拟合  绝对好的方法 

8:58

同时正则化  效果也会比PCA更好  因为当你使用线性回归或者逻辑回归  或其他的方法  配合正则化时  这个最小化问题  实际就变成了y值是什么  才不至于  将有用的信息舍弃掉  然而PCA不需要使用到  这些标签   更容易将有价值信息舍弃  总之  使用PCA的目的是  加速  学习算法的时候是好的  但是用它来避免过拟合  却并不是一个好的PCA应用  我们使用正则化的方法来代替PCA方法  是很多人  建议的  最后讲一下PCA的误用  我说PCA是一个非常有用的算法  我经常用它在可视化数据上进行数据压缩 

9:50

但我有时候  会看到有些人  把PCA用在了不应当使用的地方  从中  我都看到一个共同点  如果某人正在设计机器学习系统  他们或许会写下像这样的计划  让我们设计一个学习系统  得到训练集然后  我要做的是  先运行PCA  然后训练逻辑回归之后在测试数据上进行测试  通常在  一个项目的初期  有些人便直接写出  项目计划而不是说  来试试PCA的这四步 

10:20

在写下一个  使用PCA方法的项目计划前  一个非常好的  问题是  如果我们在整个项目中  不使用前后有怎样的差别  通常人们不会  去思考这个问题  尤其是当人们提出一个复杂的项目  其中使用了PCA或其它方法  有时  我经常建议大家  在你使用PCA之前  首先  我要建议你的是  你要知道自己做的是什么  也就是说你想要做什么  这也是你首先  需要在原始数据x(i)上考虑的问题  只有你没有想过你要的是什么的时候  那么在你使用z(i)前使用PCA 

11:01

所以在使用PCA之前  确定是减少数据维度  我会将这个问题思考清楚  让我们抛弃PCA这一步  并思考  让我们就试试在学习算法上  使用原始数据  那么 我们就会使用原始数据输入x(i)  同时我也建议  一开始不要将  PCA方法就直接放到算法里  先使用原始数据x(i)看看效果  只有一个原因  让我们相信算法出现了问题  那就是  你的学习算法  收敛地非常缓慢  占用内存  或者硬盘空间非常大  所以你想来压缩  数据  只有当你的x(i)效果不好  只有当你有证据或者  充足的理由来确定  x(i)效果不好的时候  那么就考虑用PCA来进行压缩数据 

11:47

因为我常常看到  某些人  在项目开始时便将PCA考虑进去  有时他们  并没有仔细思考  他们做了什么使得结果表现地好的  更没有考虑在不用PCA下的情景  试想  这种没有PCA的选择  在花费大量时间  在PCA方法上  去计算 k 值之前  这才是使用PCA的正确流程  尽管有这些需要注意的  PCA仍旧是  一种不可思议的有用的算法  当你把它用在合适的应用上面  PCA方法  我使用地比较频繁  大部分时候我都用它来  加快学习算法  但我认为  PCA通常都是  被用来  压缩数据的  以减少内存使用  或硬盘空间占用 或者用来可视化数据 

12:34

同时   是最常用的方法之一  也是一种强有力的无监督学习算法  通过在本视频中学到的  希望  你有能力实现  PCA算法并用它  来实现你的目的