9、主成分分析

一、用自己的话描述出其本身的含义：

1、特征选择

　　我们将属性称为“特征”（feature），对当前学习任务有用的属性称为“相关特征”（relevant feature）、没什么用的属性称为“无关特征”（irrelevant feature）。

　　从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”（feature select）。

2、PCA

　　PCA：是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

 

二、并用自己的话阐述出两者的主要区别

　　PCA降维是从选择最优基向量来选择方差较大的维度，因为我们假定小方差维度携带的信息量可以忽略不计。

　　特征选择则是从模式识别的方向出发的数据处理方法，一些方法会利用到response信息。因此这两种方法并不冲突，先用PCA，再用特征选择是合理的。

　　PCA是一种无监督的特征构造（Feature Construction）方式，有监督学习中使用无监督有两种动机：1）半监督学习问题中存在没归类的数据；2）无监督特征构造方法往往可以减轻过拟合的现象。