day3

判别函数分类方法，是根据训练样本集提供的信息，直接进行分类器设计。这种方法省去了统计分布状况分析，直接对特征空间进行划分。

线性判别函数

• 线性判别函数
• 广义线性判别函数（把非线性判别函数映射到另外一个空间变成线性判别函
  数）

非线性判别函数

判别函数.png

线性分类器的三种典型方法：

• 以Fisher准则为代表的传统模式识别方法
• 以感知准则函数为代表的机器自学习方法
• 以支持向量机为代表的统计学习理论

线性判别分析的几何意义

几何意义.png

寻找一个最佳的投影方向W，投影后将员分类问题转化为一维数据的分类问题

相似性度量：
在合适的特征空间情况下，同类样本应具有聚类性，或紧致性好，而不同类别样本应在特征空间中显示出具有较大的距离。

线性判别分析 （LDA）linear Discriminant Analysis

属于监督学习，典型的叫做 Fisher's 变换

Fisher： 将d维空间的样本映射到了一维样本集中，变得好分类

步骤.png

主成分分析 （PCA ）

无监督学习，将数据降低维度，保留方差最大的维度方向

计算本质计算数据各个维度的协方差，排序，保留协方差最大的方向