第二章 基于距离的分类器

2.1 MED分类器

    基于距离的决策：把测试样本到每个类之间距离作为决策模型，将测试样本判定为与其距离最近的类。
    原型的种类：均值——将该类中所有训练样本的均值作为类的原型。最近邻——从一类的训练样本中，选取与测试样本距离最近的一个训练样本，作为该类的原型。
    距离的种类：欧式距离，曼哈顿距离，加权欧式距离。
    MED分类器：最小欧式距离分类器，类的原型为均值。

2.2 特征白化

    特征白化的目的：将原始特征映射到新的一个特征空间，使得在新空间中特征的协方差为单位矩阵，从而去除特征变化的不同及特征之间的相关性。
    特征转化的过程：将特征转化分为两步：先去除特征之间的相关性（解耦），然后再对特征进行尺度变化（白化）。令W=W1W2，解耦：通过W1实现协方差矩阵对角化，去除特征之间的相关性。白化：通过W2对上一步变换后的特征再进行尺度变换实现所有特征具有相同方差。

2.3 MICD分类器

    MICD分类器：最小类内距离分类器，基于马氏距离的分类器。类的原型：均值。

    MICD分类器的缺陷是会选择方差较大的那一类。优点是不受量纲的影响。