模式识别与机器学习-特征选择和提取

谨以此博客作为复习期间的记录。
常见分类问题的流程，数据预处理和特征选择提取时机器学习环节中最重要的两个流程。这两个环节直接决定了最终性能的上下限，本部分记录一下特征提取和选择部分（特征工程）

特征选择可以表示为：从一个包含 n 个度量值的集合 $\{x_1,x_2,\dots ,x_n\}$ 中，按照某个准则选择出一个子集，用作分类的特征，这个子集具有降维的效果（m 维，其中 m < n）。

特征提取可以表示为：通过某种变换，将原始特征集合 $(x_1,x_2,\dots ,x_n)$ 转换成一个包含 m 个新特征 $(y_1,y_2,\dots ,y_m)$ 的集合（其中 m < n），这些新特征作为新的分类特征（有时称为二次特征）。

这两种方法的目的都在于在保留尽可能多的识别信息的前提下，降低特征空间的维度，以便有效地进行分类。

特征选择

一些距离测度公式

独立特征的选择准则

一般特征的散布矩阵准则

离散K-L变换