费雪的线性判别分析(2)

《费雪的线性判别分析》分为两部分，这是第二部分，第一部分的连接如下：

• 费雪的线性判别分析(1)

3. 计算判别阈值

如果要判别某个样本属于哪一类，必须计算出阈值 $w_0$ ，求解方法有两种：

1. 贝叶斯方法。此方法在另外一篇《线性判别分析》中详解
2. 最小二乘法。此处演示此方法的求解过程

3.1 最小二乘法${}^{[6]}$

关于最小二乘法的详细讲解，请阅读参考资料 [2] 的有关章节，在其中对最小二乘法通过多个角度给予了理论和应用的介绍。

将两个类别的线性边界写作：

$$g(x_i)=w^{\text{T}}{x}_i+w_0\text{\hspace{1em}(42)}$$

相应的最小平方误差函数：

$$E=\frac{1}{2}\sum _{i=1}^n{\left(g(x_i)-r_i\right)}^2=\frac{1}{2}\sum _{i=1}^n{\left(w^{\text{T}}{x}_i+w_0-r_i\right)}^2\text{\hspace{1em}(43)}$$

其中，$r_i$ 是样本数据的类别标签，即样本类别的真实值。若 $i\in C_1$ ，则 $r_i$ 为正例，否则为负例，不妨分别假设两个类别的标签分别是：

$$r_{i,i\in C_1}=\frac{n}{n_1},r_{i,i\in C_2}=-\frac{n}{n_2}\text{\hspace{1em}(43-2)}$$

将（43）式分别对 $w_0$ 和 $w$ 求导：

$$\frac{\partial E}{\partial w_0}=\sum _{i=1}^n(w^{\text{T}}{x}_i+w_0-r_i)\text{\hspace{1em}(44)}$$

$$\frac{\partial E}{\partial w}=\sum _{i=1}^n(w^{\text{T}}{x}_i+w_0-r_i)x_i\text{\hspace{1em}(45)}$$

令（44）式为零，即：

$$\begin{array}{rl}& \frac{\partial E}{\partial w_0}=\sum _{i=1}^n(w^{\text{T}}{x}_i+w_0-r_i)=0\\ & \sum _{i=1}^n(w^{\text{T}}{x}_i)+\sum _{i=1}^n{w}_0-\sum _{i=1}^n{r}_i=0\\ & \sum _{i=1}^n(w^{\text{T}}{x}_i)+n{w}_0-\sum _{i=1}^n{r}_i=0\end{array}\text{\hspace{1em}(46)}$$

所以：

$$\begin{array}{rl}{w}_0& =-\frac{1}{n}\sum _{i=1}^n(w^{\text{T}}{x}_i)+\frac{1}{n}\sum _{i=1}^n{r}_i\\ & =-w^{\text{T}}\left(\frac{1}{n}\sum _{i=1}^n{x}_i\right)+\frac{1}{n}\sum _{i=1}^n{r}_i\end{array}\text{\hspace{1em}(47)}$$

其中：

• $\frac{1}{n}\sum _{i=1}^n{x}_i$ 是样本平均值（向量），记作 $m$ ；
• 前述（43-2）式 $r_{i,i\in C_1}=\frac{n}{n_1},r_{i,i\in C_2}=-\frac{n}{n_2}$ ，则 $\frac{1}{n}\sum _{i=1}^n{r}_i=\frac{1}{n}(n_1\frac{n}{n_1}-n_2\frac{n}{n_2})=0$ 。

所以，（47）最终得：

$$w_0=-w^{\text{T}}m\text{\hspace{1em}(48)}$$

而对于 $w$ ，在前述最优化求解中，已经得到：$w\propto S_W^{-1}(m_2-m_1)$ ，（如（41）式），又因为 $w$ 的表示的是方向（单位向量），或者说直线的长度不影响边界，故可直接令：

$$w=S_W^{-1}(m_2-m_1)\text{\hspace{1em}(49)}$$

于是，可以用：

$$w^{\text{T}}x\le w^{\text{T}}m\text{\hspace{1em}(50)}$$

作为判别标准。

3.2 检验

若 $x=m_1$ ，很显然，此样本属于 $C_1$ 类，利用（50）式对此结论进行检验：

$$\begin{array}{rl}{w}^{\text{T}}x-w^{\text{T}}m& =w^{\text{T}}(x-m)=w^{\text{T}}(m_1-m)\\ & =(S_W^{-1}(m_2-m_1){)}^{\text{T}}(m_1-m)(将（49）式代入)\\ & =(m_2-m_1{)}^{\text{T}}(S_W^{-1}{)}^{\text{T}}(m_1-m)\end{array}\text{\hspace{1em}(51)}$$

• 由（18）式知：$S_W^{\text{T}}=S_W⟹(S_W^{-1}{)}^{\text{T}}=S_W^{-1}$
• $m=\frac{1}{n}\sum _{i=1}^n{x}_i=\frac{1}{n}(n_1{m}_1+n_2{m}_2)$

于是，（51）式继续计算如下：

$$\begin{array}{rl}{w}^{\text{T}}x-w^{\text{T}}m& =(m_2-m_1{)}^{\text{T}}{S}_W^{-1}(m_1-\frac{1}{n}(n_1{m}_1+n_2{m}_2))\\ & =(m_2-m_1{)}^{\text{T}}{S}_W^{-1}(\frac{n_2}{n}{m}_1-\frac{n_2}{n}{m}_2)\\ & =-\frac{n_2}{n}(m_2-m_1{)}^{\text{T}}{S}_W^{-1}(m_2-m_1)<0\end{array}\text{\hspace{1em}(52)}$$

其中的 $S_W^{-1}$ （半）正定。

检验成功。

3.3 用最小二乘法计算 $w$

用最小二乘法能够计算出 $w_0$ ，也可以计算 $w$ 。前面已经计算过了 $w$ 的方向，这里再用最小二乘法计算，作为对此方法的深入理解。

在（45）式中，得到了 $\frac{\partial E}{\partial w}$ ，令它等于零，则可以计算 $w$ ，但是步骤比较繁琐，以下仅供参考。

由（17）式可得：

$$\begin{array}{rl}{S}_j& =\sum _{i\in C_j}(x_i-m_j)(x_i-m_j{)}^{\text{T}},(j=1,2)\\ & =\sum _{i\in C_j}x{x}_i^{\text{T}}-m_j\sum _{i\in C_j}{x}_i^{\text{T}}-\sum _{i\in C_j}{x}_i{m}_j^{\text{T}}+n_j{m}_j{m}_j^{\text{T}}\\ & =\sum _{i\in C_j}x{x}_i^{\text{T}}-m_j(n_j{m}_j)-(n_j{m}_j)m_j^{\text{T}}+n_j{m}_j{m}_j^{\text{T}}\\ & =\sum _{i\in C_j}x{x}_i^{\text{T}}-m_j(n_j{m}_j)\end{array}\text{\hspace{1em}(53)}$$

所以：

$$S_W=S_1+S_2=\sum _{i=1}^{n}x{x}_i^{\text{T}}-n_1{m}_1{m}_1-n_2{m}_2{m}_2\text{\hspace{1em}(54)}$$

令（45）式的 $\frac{\partial E}{\partial w}=0$ ，即：

$$\begin{array}{rl}& \sum _{i=1}^n(w^{\text{T}}{x}_i+w_0-r_i)x_i=0\\ & \sum _{i=1}^n(w^{\text{T}}{x}_i-w^{\text{T}}m-r_i)x_i=0(将（48）式代入)\\ & \sum _{i=1}^n(w^{\text{T}}{x}_i-w^{\text{T}}m)x_i=\sum _{i=1}^n{r}_i{x}_i\\ & \sum _{i=1}^n{x}_i(x_i^{\text{T}}-m^{\text{T}})w=\sum _{i=1}^n{r}_i{x}_i\end{array}\text{\hspace{1em}(55)}$$

下面对上式等号左右两边分别计算：

$$\begin{array}{rl}左边& =\sum _{i=1}^n{x}_i(x_i^{\text{T}}-m^{\text{T}})w\\ & =\left(\sum _{i=1}^n{x}_i{x}_i^{\text{T}}-\sum _{i=1}^n{x}_i{m}^{\text{T}}\right)w\\ & =\left(\sum _{i=1}^n{x}_i{x}_i^{\text{T}}-n{mm}^{\text{T}}\right)w\\ & =\left(\sum _{i=1}^n{x}_i{x}_i^{\text{T}}-\frac{1}{n}(n_1{m}_1+n_2{m}_2)(n_1{m}_1+n_2{m}_2{)}^{\text{T}}\right)w\\ & =\left(\sum _{i=1}^n{x}_i{x}_i^{\text{T}}-n_1{m}_1{m}_1^{\text{T}}-n_2{m}_2{m}_2^{\text{T}}+\frac{n_1{n}_2}{n}(m_2-m_1)(m_2-m_1{)}^{\text{T}}\right)w\\ & =\left(S_W+\frac{n_1{n}_2}{n}{S}_B\right)w(代入（54）式和（19）式)\\ 右边& =\sum _{i=1}^n{r}_i{x}_i\\ & =\frac{n}{n_1}\sum _{i\in C_1}{x}_i-\frac{n}{n_2}\sum _{i\in C_2}{x}_i\\ & =n(m_1-m_2)\\ & \\ \therefore & \left(S_W+\frac{n_1{n}_2}{n}{S}_B\right)w=n(m_1-m_2)\\ & S_{W}w+\frac{n_1{n}_2}{n}{S}_{B}w=n(m_1-m_2)\\ S_{W}w& =-\frac{n_1{n}_2}{n}(m_2-m_1)(m_2-m_1{)}^{\text{T}}w+n(m_1-m_2)\\ & =\left(-\frac{n_1{n}_2}{n}(m_2-m_1)(m_2-m_1{)}^{\text{T}}w-n\right)(m_2-m_1)\\ & \\ \therefore w& =S_W^{-1}\left(-\frac{n_1{n}_2}{n}(m_2-m_1)(m_2-m_1{)}^{\text{T}}w-n\right)(m_2-m_1)\end{array}\text{\hspace{1em}(56)}$$

因为 $\left(-\frac{n_1{n}_2}{n}(m_2-m_1)(m_2-m_1{)}^{\text{T}}w-n\right)$ 是数量（标量），所以：

$$w\propto S_W^{-1}(m_2-m_1)\text{\hspace{1em}(57)}$$

4. 多类别的判别分析${}^{[6]}$

前面讨论的问题是基于 2.1 节中数据假设，即二分类问题，如果将上述两个类别下的类内散度和类间散度矩阵推广到多类别，就可以实现多类别的判别分析。

4.1 多类别的类内散度矩阵

（18）式定义了 $x$ 空间两个类别的类内散度矩阵，将其定义方式可以直接推广到多类别的类内散度矩阵：

$$S_W=\sum _{j=1}^k{S}_j\text{\hspace{1em}(58)}$$

其中：

• $S_j=\sum _{i\in C_j}(x_i-m_j)(x_i-m_j{)}^{\text{T}},j=1,2,\cdots ,k$ ，
• 且 $m_j=\frac{1}{n_j}\sum _{i\in C_j}{x}_{i}j=1,\cdots ,k$ ，共计有 $k$ 个类别。
• $n=n_1+\cdots +n_k$ 表示总样本数等于每个类别样本数的和。

4.2 多类别的类间散度矩阵

多类别的类间散度矩阵，不能由（19）式直接推广。

令 $m$ 表示 $x$ 空间的全体样本的平均数（向量），即：
$$m=\frac{1}{n}\sum _{i=1}^n{x}_i=\frac{1}{n}\sum _{j=1}^k\sum _{i\in C_j}{x}_i=\frac{1}{n}\sum _{j=1}^k(n_j{m}_j)\text{\hspace{1em}(59)}$$

对于所有的样本，仿照样本（有偏）方差的定义，可以定义针对 $X$ 空间的所有样本的 Total scatter matrix（参考资料 [1] 中称为“全局散度矩阵”。愚以为，由于此概念是针对当前数据集所有样本而言——依然是抽样所得，如果用“全局”一词，容易引起与“总体”的错误联系，其真正含义是：本数据集所有样本散度矩阵）：

$$S_T=\sum _{i=1}^n(x_i-m)(x_i-m{)}^{\text{T}}\text{\hspace{1em}(60)}$$

将（60）式进一步写成：

$$\begin{array}{rl}{S}_T& =\sum _{i=j}^k\sum _{i\in C_j}(x_i-m_j+m_j-m)(x_i-m_j+m_j-m{)}^{\text{T}}\\ & =\sum _{j=1}^k\sum _{i\in C_j}(x_i-m_j)(x_i-m_j{)}^{\text{T}}+\sum _{j=1}^k\sum _{i\in C_j}(m_j-m)(m_j-m{)}^{\text{T}}\\ & +\sum _{j=1}^k\sum _{i\in C_j}(x_i-m_j)(m_j-m{)}^{\text{T}}+\sum _{j=1}^k(m_j-m)\sum _{i\in C_j}(x_i-m_j{)}^{\text{T}}\end{array}\text{\hspace{1em}(61)}$$

因为：

• 由（58）式可得：$\sum _{j=1}^k\sum _{i\in C_j}(x_i-m_j)(x_i-m_j{)}^{\text{T}}=S_W$
• $\sum _{j=1}^k\sum _{i\in C_j}(m_j-m)(m_j-m{)}^{\text{T}}=\sum _{j=1}^k{n}_j(m_j-m)(m_j-m{)}^{\text{T}}$
• 因为 $\sum _{i\in C_j}(x_i-m_j)=0$ （每个样本与平均数的差求和，结果为 0 ），故得： $\sum _{j=1}^k\sum _{i\in C_j}(x_i-m_j)(m_j-m{)}^{\text{T}}=\sum _{j=1}^k(m_j-m)\sum _{i\in C_j}(x_i-m_j{)}^{\text{T}}=0$

所以，（61）式为：

$$\begin{array}{rl}{S}_T& =S_W+\sum _{j=1}^k{n}_j(m_j-m)(m_j-m{)}^{\text{T}}\end{array}\text{\hspace{1em}(62)}$$

令：

$$S_B=\sum _{j=1}^k{n}_j(m_j-m)(m_j-m{)}^{\text{T}}\text{\hspace{1em}(63)}$$

即为多类别的类间散度矩阵。

对于（63）式，如果 $k=2$ ，即为二类别下的类间散度矩阵：

$$\begin{array}{rl}{S}_{B_2}& =n_1(m_1-m)(m_1-m{)}^{\text{T}}+n_2(m_2-m)(m_2-m{)}^{\text{T}}\\ \because & m_1-m=m_1-\frac{1}{n}(n_1{m}_1+n_2{m}_2)=\frac{n_2}{n}(m_1-m_2)\\ & m_2-m=m_2-\frac{1}{n}(n_1{m}_1+n_2{m}_2)=\frac{n_1}{n}(m_1-m_2)\\ \therefore & S_{B_2}=\frac{n_1{n}_2}{n}(m_2-m_1)(m_2-m_1{)}^{\text{T}}\end{array}\text{\hspace{1em}(64)}$$

（64）式最终得到的二类别下的类间散度矩阵和（19）式相比，多了系数 $\frac{n_1{n}_2}{n}$ ，因为它是常数，不会影响对 $J(w)$ 最大化求解。

4.3 多类别样本下的费雪准则

假设由 $q$ 个单位向量 $w_1,\cdots ,w_q$ 作为 $X$ 空间样本数据 $x\in {\mathbb{R}}^d$ 投影的超平面（直线）方向，得到：

$$y_l=w_l^{\text{T}}x,(l=1,\cdots ,q)\text{\hspace{1em}(65)}$$

写成矩阵形式：

y = [ y 1 ⋮ y q ] = [ w 1 T x ⋮ w q T x ] = [ w 1 ⋯ w q ] T x = W T x (66) \pmb{y}=\begin{bmatrix}y_1\\\vdots\\y_q\end{bmatrix}=\begin{bmatrix}\pmb{w}_1^\text{T}\pmb{x}\\\vdots\\\pmb{w}_q^\text{T}\pmb{x}\end{bmatrix}=\begin{bmatrix}\pmb{w}_1&\cdots&\pmb{w}_q\end{bmatrix}^\text{T}\pmb{x}=\pmb{W}^\text{T}\pmb{x}\tag{66} y= ​y1​⋮yq​​ ​= ​w1T​x⋮wqT​x​ ​=[w1​​⋯​wq​​]Tx=WTx(66)

其中 $W=\left[\begin{array}{ccc}{w}_1& \cdots & w_q\end{array}\right]$ 是 $d\times q$ 矩阵。

由此，得到了 $X$ 空间的样本 $x_1,\cdots ,x_n$ 投影到 $w_l,(1\le l\le q)$ 上的投影，即得到 $Y$ 空间的数据 $y_i,(i=1,\cdots ,n)$ ：

$$y_i=W^{\text{T}}{x}_i,(i=1,\cdots ,n)\text{\hspace{1em}(67)}$$

仿照 $X$ 空间计算平均值（向量）的方法，计算 $Y$ 空间投影数据的平均值：

$${\hat{m}}_j=\frac{1}{n_j}\sum _{i\in C_j}{y}_i=\frac{1}{n_j}\sum _{i\in C_j}{W}^{\text{T}}{x}_i=W^{\text{T}}{m}_j,(j=1,\cdots ,k)\text{\hspace{1em}(68)}$$

$$\hat{m}=\frac{1}{n}\sum _{j=1}^k{n}_j{\hat{m}}_j=\frac{1}{n}\sum _{j=1}^k{n}_j{W}^{\text{T}}{m}_j=W^{\text{T}}m\text{\hspace{1em}(69)}$$

从而定义 $Y$ 空间的类内散度矩阵和类间散度矩阵

$${\hat{S}}_W=\sum _{j=1}^k\sum _{i\in C_j}(y_i-{\hat{m}}_j)(y_i-{\hat{m}}_j{)}^{\text{T}}\text{\hspace{1em}(70)}$$

$${\hat{S}}_B=\sum _{j=1}^k{n}_j({\hat{m}}_j-\hat{m})({\hat{m}}_j-\hat{m}{)}^{\text{T}}\text{\hspace{1em}(71)}$$

将（67）（68）代入到（70），得到：

$$\begin{array}{rl}{\hat{S}}_W& =\sum _{j=1}^k\sum _{i\in C_k}(W^{\text{T}}{x}_i-W^{\text{T}}{m}_j)(W^{\text{T}}{x}_i-W^{\text{T}}{m}_j{)}^{\text{T}}\\ & =\sum _{j=1}^k\sum _{i\in C_k}{W}^{\text{T}}(x_i-m_j)(x_i-m_j{)}^{\text{T}}W\\ & =W^{\text{T}}{S}_{W}W(根据（58）式)\end{array}\text{\hspace{1em}(72)}$$

将（68）（69）带入到（71），得到：

$$\begin{array}{rl}{\hat{S}}_B& =\sum _{j=1}^k{n}_j(W^{\text{T}}{m}_j-W^{\text{T}}m)(W^{\text{T}}{m}_j-W^{\text{T}}m{)}^{\text{T}}\\ & =\sum _{j=1}^k{n}_j{W}^{\text{T}}(m_j-m)(m_j-m{)}^{\text{T}}W\\ & =W^{\text{T}}{S}_{B}W(根据（63）式)\end{array}\text{\hspace{1em}(73)}$$

由此，多类别下的费雪准则，其目标函数有两种表示方式：

• 第一种：用矩阵的迹表示

  $$J_1(W)=\text{trace}\left({\hat{S}}_W^{-1}{\hat{S}}_B\right)=\text{trace}\left((W^{\text{T}}{S}_{W}W{)}^{-1}(W^{\text{T}}{S}_{B}W)\right)\text{\hspace{1em}(74)}$$

• 第二种：用行列式表示

  $$J_2(W)=\frac{|{\hat{S}}_B|}{|{\hat{S}}_W|}=\frac{|W^{\text{T}}{S}_{B}W|}{|W^{\text{T}}{S}_{W}W|}\text{\hspace{1em}(75)}$$

不论以上哪种形式，最终均可得到如下最优化条件：

$$S_B{w}_l={\lambda }_l{S}_W{w}_l,(l=1,\cdots ,q)\text{\hspace{1em}(76)}$$

由上式得：$S_W^{-1}{S}_B{w}_l={\lambda }_l{w}_l$ 。参考（30）式之后的推导，${\lambda }_l$ 为广义特征值，$w_l$ 是广义特征向量。以（74）式为例，可得如下结论（详细推导过程，请见参考资料 [7] 中的推导过程）

$$J_1(W)={\lambda }_1+\cdots +{\lambda }_q\text{\hspace{1em}(77)}$$

因特征值非负，故 $q=\text{rank}({\hat{S}}_W^{-1}{\hat{S}}_B)$ 。

又因为 $\hat{m}$ 是 ${\hat{m}}_1,\cdots ,{\hat{m}}_k$ 的线性组合，故：

$$\text{rank}({\hat{S}}_W^{-1}{\hat{S}}_B)=\text{rank}({\hat{S}}_B)=\text{dim}\text{ span}\{{\hat{m}}_1-\hat{m},\cdots ,{\hat{m}}_k-\hat{m}\}\le k-1\text{\hspace{1em}(78)}$$

故 $q\le k-1$ 。

给定包含 $k\ge 2$ 个类别的样本，多类别判别分析所能产生有效线性特征总数最多是 $k-1$ ，即降维的最大特征数。

参考资料

[1]. 周志华. 机器学习. 北京：清华大学出版社

[2]. 齐伟. 机器学习数学基础[M]. 北京：电子工业出版社

[3]. 拉格朗日乘数法

[4]. 广义特征值与极小极大原理。以下为此参考文献部分内容摘抄：

1、定义：设 $A$ 、$B$ 为 $n$ 阶方阵，若存在数 $\lambda$ ，使得方程 $Ax=\lambda Bx$ 存在非零解，则称 $\lambda$ 为 $A$ 相对于 $B$ 的广义特征值，$x$ 为 $A$ 相对于 $B$ 的属于广义特征值 $\lambda$ 的特征向量。

• 当 $B＝I$（单位矩阵）时，广义特征值问题退化为标准特征值问题。

• 特征向量是非零的

• 广义特征值的求解

  $(A-\lambda B)x=0$ 或者 $(\lambda B-A)x=0$

  特征方程：$\text{det}(A-\lambda B)=0$

  求得 $\lambda$ 后代回原方程 $Ax=\lambda Bx$ 可求出 $x$

2、等价表述

$B$ 正定，且可逆，即 $B^{-1}$ 存在，则：$B^{-1}Ax=\lambda x$ ，广义特征值问题化为了标准特征值问题。

3、广义瑞丽商

若 $A$、$B$ 为 $n$ 阶厄米矩阵（Hermitian matrix，或译为“艾米尔特矩阵”、“厄米特矩阵”等），且 $B$ 正定，则：

$R(x)=\frac{x^{\text{H}}Ax}{x^{\text{H}}Bx},(x\ne 0)$ 为 $A$ 相对于 $B$ 的瑞丽商。

[5]. 谢文睿，秦州. 机器学习公式详解. 北京：人民邮电出版社