ML笔记：LDA(Fisher) 线性判别分析最全解读+python实战二分类代码+补充：矩阵求导可以参考！

LDA(Fisher) 线性判别分析最全解读+python实战二分类代码！

一、主要思想！

线性判别分析（Linear Discriminant Analysis 简称LDA）是一种经典的线性学习方法，在二分类问题上因为最早由【Fisher，1936年】提出，所以也称为“Fisher 判别分析！”
Fisher（费歇）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴,使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。

图摘自周志华老师的《机器学习》一书

简单介绍：LDA的思想非常的朴素，给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能的远离；在对新鲜样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别，上图中给出了一个二维示意图。

我们寻找一个投影方向$\mathbf{w}$,($\mathbf{w}$的维度和每个样本维度相同！)，投影之后的样本变为：
$$y_i={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i,i=1,2,\cdots ,N\text{\hspace{1em}(1-1)}$$

二、具体流程！

为了找到最佳投影方向，需要计算出各类样本均值、样本类内离散度矩阵${\mathbf{S}}_i$ 和样本总类内离散度矩阵${\mathbf{S}}_w$、样本类间离散度矩阵${\mathbf{S}}_b$，根据Fisher准则，找到最佳投影向量，将训练集内的所有样本进行投影，投影到一维Y空间，由于Y空间是一维的，则需要求出Y空间的划分边界点，找到边界点后，就可以对待测样本进行一维Y空间投影，判断它的投影点与分界点的关系，将其归类。具体方法如下：
1、计算各类样本均值向量 $m_i$，$m_i$是各个类的均值，$N_i$是$w_i$类的样本个数。
$$m_i=\frac{1}{N_i}\sum _{{\mathbf{x}}_j\in {\omega }_i}{\mathbf{x}}_{j}i=1,2\text{\hspace{1em}(2-1)}$$

2、计算样本类内离散度矩阵${\mathbf{S}}_i$ 和总类内离散度矩阵${\mathbf{S}}_w$

$${\mathbf{S}}_i=\sum _{{\mathbf{x}}_j\in w_i}\left({\mathbf{x}}_j-{\mathbf{m}}_i\right){\left({\mathbf{x}}_j-{\mathbf{m}}_i\right)}^{\mathrm{T}},\mathbf{i}=1,2\text{\hspace{1em}(2-2)}$$ $${\mathbf{S}}_{\mathrm{w}}={\mathbf{S}}_1+{\mathbf{S}}_2\text{\hspace{1em}(2-3)}$$

3、计算样本类间离散度矩阵${\mathbf{S}}_b$。
$${\mathbf{S}}_{\mathrm{b}}=\left({\mathbf{m}}_1-{\mathbf{m}}_2\right){\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)}^{\mathrm{T}}\text{\hspace{1em}(2-4)}$$

4、求投影方向向量$W$（维度和样本的维度相同）。我们希望投影后，在一维Y空间里各类样本尽可能分开，就是我们希望的两类样本均值之差$\left({\tilde{\mathbf{m}}}_1-{\tilde{\mathbf{m}}}_2\right)$越大越好，同时希望各类样本内部尽量密集，即是：希望类内离散度越小越好，因此，我们可以定义Fisher准则函数为：
$$J_F(w)=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}}\text{\hspace{1em}(2-5)}$$
使得 $J_F(\mathbf{w})$ 取得最大值的 $\mathbf{w}$ 为：
$$\mathbf{w}={\mathbf{S}}_w^{-1}\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)\text{\hspace{1em}(2-6)}$$

5、将训练集内所有样本进行投影。
$$y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}\text{\hspace{1em}(2-7)}$$

6、计算在投影空间上的分割阈值 $y_0$。
在一维Y空间，各类样本均值 ${\mathbf{m}}_i$ 为：
$${\tilde{m}}_i=\frac{1}{N_i}\sum _{y_j\in w_i}{y}_j=\frac{1}{N_i}\sum _{{\mathbf{x}}_j\in w_i}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{j}}={\mathbf{w}}^{\mathrm{T}}{\mathbf{m}}_{\mathbf{i}}i=1,2\text{\hspace{1em}(2-8)}$$

注意： 对于二类问题，此时类内离散度不再是一个矩阵，而是一个值。还有可以发现：${\mathbf{S}}_w$ 和${\mathbf{S}}_b$都是对称矩阵，故 ${\mathbf{S}}_b={\mathbf{S}}_b^T,{\mathbf{S}}_w={\mathbf{S}}_w^T$

样本类内离散度 ${\tilde{s}}_i^2$ 和总类内离散度 ${\tilde{s}}_w$
$${\tilde{s}}_i^2=\sum _{y\in w_i}{\left(y-m_i\right)}^{2}i=1,2\text{\hspace{1em}(2-9)}$$
$${\tilde{s}}_w={\tilde{s}}_1^2+{\tilde{s}}_2^2\text{\hspace{1em}(2-10)}$$

而此时类间离散度就成为两类均值差的平方。
$$S_b^2={\left({\tilde{m}}_1-{\tilde{m}}_2\right)}^2\text{\hspace{1em}(2-11)}$$
阈值$y_0$的选择可以有不同的方案：

1. 比较常用的一种是：
   $$y_0=\frac{N_1{\tilde{m}}_1+N_2{\tilde{m}}_2}{N_1+N_2}\text{\hspace{1em}(2-12)}$$
2. 另外一种是
   $$y_0=\frac{{\tilde{m}}_1+{\tilde{m}}_2}{2}+\frac{\ln \left(P\left({\omega }_1\right)/P\left({\omega }_2\right)\right)}{N_1+N_2-2}\text{\hspace{1em}(2-13)}$$

7、对于给定的测试样本 $\mathbf{x}$，计算出它在$\mathbf{w}$ 上的投影点$y$。$$y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}\text{\hspace{1em}(2-14)}$$

8、根据决策规则分类！
$$\{\begin{array}{l}y>y_0\Rightarrow X\in {\omega }_1\\ y<y_0\Rightarrow X\in {\omega }_2\end{array}\text{\hspace{1em}(2-15)}$$

三、补充二中的公式的证明！

刚才我们提到过，希望寻找的投影方向使投影以后两类尽可能的分开，而各类内部由尽可能聚集，这一目标函数可表示为如下的准则(Fisher准则函数)：$$\max J_{\mathrm{F}}(w)=\frac{{\mathrm{S}}_{\mathrm{b}}^2}{S_{\mathrm{w}}^2}=\frac{{\left({\tilde{m}}_1-{\tilde{m}}_2\right)}^2}{S_1^2+S_2^2}\text{\hspace{1em}(3-1)}$$
其中：$$\begin{array}{rl}{S}_{\mathrm{b}}^2& ={\left({\tilde{m}}_1-{\tilde{m}}_2\right)}^2\\ & ={\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{m}}_1-{\mathbf{w}}^{\mathrm{T}}{\mathbf{m}}_2\right)}^2\\ & ={\mathbf{w}}^{\mathrm{T}}\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)\mathbf{w}\\ & ={\mathbf{w}}^{\mathrm{T}}{S}_{\mathrm{b}}\mathbf{w}\end{array}\text{\hspace{1em}(3-2)}$$

以及下面的公式：
$$\begin{array}{rl}{S}_w& =S_1^2+S_2^2\\ & =\sum _{x_j\in w_1}{\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_j-{\mathbf{w}}^{\mathrm{T}}{\mathbf{m}}_1\right)}^2+\sum _{{\mathbf{x}}_j\in w_2}{\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_j-{\mathbf{w}}^{\mathrm{T}}{\mathbf{m}}_2\right)}^2\\ & =\sum _{x_j\in w_1}{\mathbf{w}}^{\mathrm{T}}\left({\mathbf{x}}_{\mathbf{j}}-{\mathbf{m}}_1\right){\left({\mathbf{x}}_{\mathbf{j}}-{\mathbf{m}}_1\right)}^{\mathrm{T}}\mathbf{w}+\sum _{x_j\in w_2}{\mathbf{w}}^{\mathrm{T}}\left({\mathbf{x}}_j-{\mathbf{m}}_2\right){\left({\mathbf{x}}_j-{\mathbf{m}}_2\right)}^{\mathrm{T}}\mathbf{w}\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_1\mathbf{w}+{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_2\mathbf{w}\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}\end{array}\text{\hspace{1em}(3-3)}$$
因此，Fisher判别准则（目标函数）变为：这一表达式在数学物理中称为广义Rayleigh商（generalized Rayleigh quotient）
$$\underset{w}{\max }{J}_{\mathrm{F}}(\mathbf{w})=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{w}}\mathbf{w}}\text{\hspace{1em}(4-1)}$$

四、目标函数的求解过程！

4.1、优化问题的转化

我们的目标就是求得使（4-1）最大的投影方向$W$， 由于对$\mathbf{W}$的幅值调节并不会影响$\mathbf{W}$的方向，即不会影响（$J_{\mathrm{F}}(\mathbf{w})$），因此可以设定式（4-1）的分母为非0常数（设置为1），最大化分子部分，即把式（4-1）的优化问题转化为下面的（4-2）：
$$\begin{array}{cl}\max & {\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}\mathbf{w}\\ \text{ s. t. }& {\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{w}}\mathbf{w}=c=/0\end{array}\text{\hspace{1em}(4-2)}$$

4.2、拉格朗日乘子法求解

这是一个等式约束下的极值问题，可以通过引入拉格朗日（lagrange）乘子转化为以下拉个朗日函数的无约束极值问题：
$$L(w,\lambda )={\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}\mathbf{w}-\lambda \left({\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}-c\right)\text{\hspace{1em}(4-3)}$$
在式（4-3）的极值处，应该满足：
$$\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}=0\text{\hspace{1em}(4-4)}$$

由此得到，极值解$\mathbf{w}$，应该满足：
$$\begin{array}{rl}\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}& =\frac{\partial \left({\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}\right)}{\partial \mathbf{w}}-\lambda \frac{\left({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}-c\right)}{\partial \mathbf{w}}\\ & =\left({\mathbf{S}}_b+{\mathbf{S}}_b^T\right)\mathbf{w}-\lambda \left({\mathbf{S}}_w+{\mathbf{S}}_w^T\right)\mathbf{w}\end{array}\text{\hspace{1em}(4-5)}$$
又${\mathbf{S}}_b={\mathbf{S}}_b^T,{\mathbf{S}}_w={\mathbf{S}}_w^T$，则$$\begin{array}{r}\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}==2{\mathbf{S}}_b\mathbf{w}-2\lambda {\mathbf{S}}_w\mathbf{w}\end{array}\text{\hspace{1em}(4-6)}$$

注意：这里可以参考维基百科的矩阵演算：Scalar-by-matrix identities；这里求导用的公式：$$\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\left(\mathbf{A}+{\mathbf{A}}^{\mathbf{T}}\right)\mathbf{x}$$

令导函数等于0
$${\mathbf{S}}_b\mathbf{w}-\lambda {\mathbf{S}}_w\mathbf{w}=0\text{\hspace{1em}(4-7)}$$
假定$S_w$是非奇异的（样本数大于维数时通常是非奇异的），可以得到$${\mathbf{S}}_{\mathrm{w}}^{-1}{\mathbf{S}}_{\mathrm{b}}\mathbf{w}=\lambda \mathbf{w}\text{\hspace{1em}(4-8)}$$
也就是说，$\mathbf{w}$是矩阵${\mathbf{S}}_{\mathbf{w}}^{-1}{\mathbf{S}}_{\mathrm{b}}$的本征向量。我们把式 （2-4） 的${\mathbf{S}}_{\mathbf{b}}$代入，式（4-8）变为：
$$\lambda \mathbf{w}={\mathbf{S}}_w^{-1}\left({\mathbf{m}}_1-{\mathbf{m}}_2\right){\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)}^{\mathrm{T}}\mathbf{w}\text{\hspace{1em}(4-9)}$$
应该注意到，${\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)}^{\mathrm{T}}\mathbf{w}$是标量。不影响 $\mathbf{w}$ 的方向，因此可以得到$\mathbf{w}$ 的方向是由${\mathbf{S}}_w^{-1}\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)$决定的，由于我们只关心 $\mathbf{w}$ 的方向，因此可以取：

$$\mathbf{w}={\mathbf{S}}_w^{-1}\left({\mathbf{m}}_1-{\mathbf{m}}_2\right)\text{\hspace{1em}(4-10)}$$这就是Fisher判别准则下的最优投影方向。

注意：考虑到数值解的稳定性，实践中通常对 ${\mathbf{S}}_w$ 进行奇异值分解，即：${\mathbf{S}}_w={\mathbf{U}\mathbf{\Sigma }\mathbf{V}}^{\mathrm{T}}$，这里的$\mathbf{\Sigma }$是一个实对角矩阵，其对角线上的元素是${\mathbf{S}}_w$的奇异值，然后由${\mathbf{S}}_w^{-1}=\mathbf{V}{\mathbf{\Sigma }}^{-1}{\mathbf{U}}^{\mathrm{T}}$得到${\mathbf{S}}_w^{-1}$

五、拓展到多分类任务中

假设类别变成多个了，那么要怎么改变，才能保证投影后类别能够分离呢？我们之前讨论的是如何将 $d$ 维降到一维，现在类别多了，一维可能已经不能满足要求。假设我们有 $C$ 个类别，将其投影到 $K$ 个基向量。

• 将这 $K$ 个向量表示为：$\mathbf{W}=\left[{\mathbf{w}}_1\left|{\mathbf{w}}_2\right|\dots |{\mathbf{w}}_{\mathrm{K}}\right]$
• 投影上的结果表示为：$\mathbf{y}=\left[y_1,y_2,\dots ,y_k\right]$；简写之：
  $$y_i={\mathbf{w}}_i^T\mathbf{x}\mathbf{y}={\mathbf{W}}^T\mathbf{x}$$

我们打算仍然从类间散列度和类内散列度来考虑。为了便于分析，假设样本向量包含2个特征值时，从几何意义上考虑：

多分类图

假定存在 $M$ 个类，属于第 $i$ 个类的样本集合为 $T_i$，$T_i$中的样例的集合为 $n_i$，则有： ${\sum }_{i=1}^M{n}_i=N$ ，其中$N$为样本总数，设 $T_i$ 表示类别为 $i$， $i=1,2,3,4,...,M$的样例的集合。这些样例的均值向量为：
$${\mathbf{\mu }}_i={\left({\mu }_i^{(1)},{\mu }_i^{(2)},\cdots ,{\mu }_i^{(n)}\right)}^T=\frac{1}{n_i}\sum _{{\mathbf{x}}_{\mathbf{i}}\in T_i}{\mathbf{x}}_i\text{\hspace{1em}(5-1)}$$

要使同类样本的投影点尽可能的接近，则可以使同类样本投影点方差尽可能小，因此定义类别的类内散度矩阵为：

$${\mathbf{S}}_i=\sum _{\mathbf{x}\in Ti}\left(\mathbf{x}-{\mathbf{\mu }}_i\right){\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^{\mathrm{T}},\mathbf{i}=1,2,...,M\text{\hspace{1em}(5-2)}$$
总类内散度矩阵为：
$${\mathbf{S}}_{\mathrm{w}}=\sum _{i=1}^M{\mathbf{S}}_{\mathrm{i}}\text{\hspace{1em}(5-3)}$$

注意： 类别的类内散度矩阵${\mathbf{S}}_i={\sum }_{\mathbf{x}\in Ti}\left(\mathbf{x}-{\mathbf{m}}_i\right){\left(\mathbf{x}-{\mathbf{m}}_i\right)}^{\mathrm{T}},\mathbf{i}=1,2,...,M$，实际就等于样本集 $T_i$ 的协方差矩阵 ${\Sigma }_i$，协方差矩阵大小为：$n\times n$，每个样本点的维度为n。

要使异类样本的投影点尽可能的远，则可以使异类样本的中心的投影点尽可能的远，由于这里不止2个中心点，因此不能简单的套用二类LDA的做法（即2个中心点的距离）。这里使用每一类样本集合的中心点距离总的样本中心点$\mathbf{\mu }$的距离作为度量。 考虑到每一类样本集的大小可能不同（密度分布不均；如果某类里面的样本点较多，那么其权重稍大，权重用$Ni/N$表示，但由于$J(w)$对倍数不敏感，因此使用$N_i$。），因此定义类间散度矩阵为：
$${\mathbf{S}}_{\mathrm{b}}=\sum _{i=1}^M{n}_i\left({\mathbf{\mu }}_i-\mathbf{\mu }\right){\left({\mathbf{\mu }}_i-\mathbf{\mu }\right)}^T\text{\hspace{1em}(5-4)}$$

其中：$\mathbf{\mu }$ 是所有的样本均值。
$$\mathbf{\mu }=\frac{1}{N}\sum _{\forall x}\mathbf{x}=\frac{1}{N}\sum _{x\in T_i}{n}_i{\mathbf{\mu }}_i$$

• 具体的推导过程参考：南瓜书

注意： $\left({\mathbf{m}}_i-\mathbf{\mu }\right){\left({\mathbf{m}}_i-\mathbf{\mu }\right)}^T$也是一个协方差矩阵，它刻画的是第$i$个类与总体之间的关系！

设 $\mathbf{W}\in {\mathbb{R}}^{n\times (M-1)}$是投影矩阵，经过推导可以得到最大化的目标：(注意：此公式是$(4-1)$的推广形式！)
$$J=\frac{\mathrm{tr}\left({\mathbf{W}}^T{\mathbf{S}}_b\mathbf{W}\right)}{\mathrm{tr}\left({\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}\right)}\text{\hspace{1em}(5-5)}$$

• 参考：有些人使用的是行列式，这里使用的是矩阵的迹。 由于我们得到的分子分母都是散列矩阵，要将矩阵变成实数，需要取行列式。又因为行列式的值实际上是矩阵特征值的积，一个特征值可以表示在该特征向量上的发散程度。因此我们使用行列式来计算（此处我感觉有点牵强，道理不是那么有说服力）。
• 其中： $\mathrm{tr}(.)$表示矩阵的迹，一个矩阵的迹就是一个矩阵的对角线元素之和，它是一个矩阵不变量，也等于矩阵所有的特征值之和。
• 还有一个常用的矩阵不变量，就是矩阵的行列式，它等于矩阵的所有特征值之积。

多分类LDA将样本投影到 $M-1$维空间，因此它是一种经典的监督降维技术，之所以叫监督是因为对于每个训练样本，我们知道它所属的类别。

六、Fisher实战分析：二分类

6.1、数据生成

• 这里直接用scikit-learn的接口来生成数据：

from sklearn.datasets import make_multilabel_classification
import numpy as np

x, y = make_multilabel_classification(n_samples=20, n_features=2,
                                      n_labels=1, n_classes=1,
                                      random_state=2)  # 设置随机数种子，保证每次产生相同的数据。

# 根据类别分个类
index1 = np.array([index for (index, value) in enumerate(y) if value == 0])  # 获取类别1的indexs
index2 = np.array([index for (index, value) in enumerate(y) if value == 1])  # 获取类别2的indexs

c_1 = x[index1]   # 类别1的所有数据(x1, x2) in X_1
c_2 = x[index2]   # 类别2的所有数据(x1, x2) in X_2

• 断点演示：

$数据x$	$标签y$
$类别1的所有数据(x1,x2)in{X}_1$	$类别2的所有数据(x1,x2)in{X}_2$

6.2、fisher算法

注意： 类间散度矩阵也是一个协方差矩阵，他刻画的是第 $i$ 和总体之间的关系。

# 2、Fisher算法实现
def cal_cov_and_avg(samples):
    """
    给定一个类别的数据，计算协方差矩阵和平均向量
    :param samples:
    :return:
    """
    u1 = np.mean(samples, axis=0)
    cov_m = np.zeros((samples.shape[1], samples.shape[1]))
    for s in samples:
        t = s - u1
        cov_m += t*t.reshape(2, 1)
    return cov_m, u1
def fisher(c_1, c_2):
    """
    fisher算法实现(参考上面的推导公式进行理解)
    :param c_1:
    :param c_2:
    :return:
    """
    cov_1, u1 = cal_cov_and_avg(c_1)
    cov_2, u2 = cal_cov_and_avg(c_2)
    s_w = cov_1 + cov_2          # 总类内离散度矩阵。
    u, s, v = np.linalg.svd(s_w) # 下面的参考公式（4-10）
    s_w_inv = np.dot(np.dot(v.T, np.linalg.inv(np.diag(s))), u.T)
    return np.dot(s_w_inv, u1 - u2)

6.3、判断类别

def judge(sample, w, c_1, c_2):
    """
    返回值：ture 属于1；false 属于2
    :param sample:
    :param w:
    :param c_1:
    :param c_2:
    :return:
    """
    u1 = np.mean(c_1, axis=0)
    u2 = np.mean(c_2, axis=0)
    center_1 = np.dot(w.T, u1) # 参考公式(2-8)
    center_2 = np.dot(w.T, u2)
    pos = np.dot(w.T, sample)  # 新样本进来判断
    return abs(pos - center_1) < abs(pos - center_2)

w = fisher(c_1, c_2)             # 调用函数，得到参数w
out = judge(c_2[1], w, c_1, c_2) # 判断所属的类别。
print(out)

6.4、绘图

# 4、绘图功能
plt.scatter(c_1[:, 0], c_1[:, 1], c='red')
plt.scatter(c_2[:, 0], c_2[:, 1], c='blue')
line_x = np.arange(min(np.min(c_1[:, 0]), np.min(c_2[:, 0])),
                   max(np.max(c_1[:, 0]), np.max(c_2[:, 0])),
                   step=1)
line_y = -(w[0]*line_x) / w[1]
plt.plot(line_x, line_y, linewidth=3.0,  label = 'fisher boundary line ')
plt.legend(loc='upper right')
plt.xlabel('feature 1')
plt.ylabel('feature 2')
plt.show()

6.5、运行结果

二分类运行结果

参考文章

• 周志华《机器学习》
• 张学工《模式识别》
• 杨淑莹《模式识别与智能计算》
• JerryLead-线性判别分析（Linear Discriminant Analysis）（一）
• fisher判别分析原理+python实现

补充：矩阵求导可以参考

• https://blog.csdn.net/daaikuaichuan/article/details/80620518
• https://blog.csdn.net/xtydtc/article/details/51133903
• https://blog.csdn.net/yc461515457/article/details/49682473
• 【机器学习】汇总详解：矩阵的迹以及迹对矩阵求导都是讨论的方阵