一、简述Fisher线性判别方法的基本思路，写出准则函数及对应的解。

答：

1、Fisher线性判别：

（1）考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。

（2）然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，当把它们投影到一条直线上时，也可能会是几类样本混在一起而变得无法识别。

（3）但是，在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分得开。

2、变换方法：

假设有一集合包含个维样本，若对的分量做线性组合可得标量：

这样便得到个一维样本组成的集合。实际上，的值是无关紧要的，它仅是乘上一个比例因子，重要的是选择w的方向。的方向不同，将使样本投影后的可分离程度不同，从而直接影响的分类效果。
因此，上述寻找最佳投影方向的问题，在数学上就是寻找最好的变换向量的问题

3、准则函数:

其中是类间离散度矩阵，为类内离散度矩阵。
解：

其中：和为两类的均值。
附：

二、推导过程

1、参数定义

维空间

(1)样本均值：

(2)类内离散度矩阵：

(3)类间离散度矩阵：

1维空间
(1)样本均值

(2)类内离散度矩阵：

2、Fisher准则函数：

定义：

分子为均值之差，分母为样本在Y上类内离散度，应该使得分子尽可能大而分母尽可能小。
则分子可以化为：
$\begin{aligned} (\widetilde{m_1}-\widetilde{m_2})^2&=(\boldsymbol{\rm w^T}m_1-\boldsymbol{\rm w^T}m_2)^2 \\&=(\boldsymbol{\rm w^T}m_1-\boldsymbol{\rm w^T}m_2)(\boldsymbol{\rm w^T}m_1-\boldsymbol{\rm w^T}m_2)^T \\&=(\boldsymbol{\rm w^T}m_1-\boldsymbol{\rm w^T}m_2)(m_1^T\boldsymbol{\rm w}-m_2^T\boldsymbol{\rm w}) \\&=\boldsymbol{\rm w^T}(m_1-m_2)(m_1-m_2)^T\boldsymbol{\rm w} \\&=\boldsymbol{\rm w^T}S_b\boldsymbol{\rm w} \end{aligned}$
同理，分母可以化为
则总体可以写为：

3、求解

使用拉格朗日乘子法，令分母等于非零常数:

定义拉格朗日函数为：

令偏导数为零：

即：

其中就是的极值解。因为非奇异，将上式两边左乘，可得：

上式为求一般矩阵的特征值问题。利用的定义，将上式左边的写成：

其中为一标量，所以总在向量的方向上。因此可以写成：

从而可得：

因为目的是选择最佳投影方向，因此比例因子无影响，忽略比例因子，得到：

Fisher线性判别

一、 简述Fisher线性判别方法的基本思路，写出准则函数及对应的解。