线性分类器相关概念总结

线性判别法

• 判别函数的形式为：$g(X)=W^{T}X+W_0$，其中$X$和$W$都是向量。分类时，有多少个类，就对应着多少个判别函数。
• 线性判别函数利用一个超平面判定面把特征空间分割成2个区域，超平面的方向由$W$决定，位置由$W_0$决定。判别函数$g(x)$正比于$x$点到超平面的代数距离。当$x$在超平面$H$的正侧时，$g(x)>0$，在负侧时$g(x)<0$。
• 若是对样本进行规范化操作：
  定义一个新的变量$y^{\prime }$，使得第一类样本$y^{\prime }=y$，而对第二类样本$y^{\prime }=-y$，即：
  $$y_i^{\prime }=\{\begin{array}{c}{y}_i,y_i\in w_1\\ -y_i,y_i\in w_2\end{array}i=1,2,...,N$$
  这样定义的$y^{\prime }$称为规范化增广样本向量，仍记为$y_i$。
  则样本的可分性条件就变成了存在一个$a$，使得：$a^T{y}_i^{\prime }>0,i=1,2,...,N$。如果一个判别函数$g(Y)=a^{T}Y$的权向量$a$存在，可以使判别器工作，则这些样本$Y$就成为“线性可分”的。

Fisher线性判别法

其主要思想为：选择投影方向，使2类样本投影的均值之差尽量最大，这样就可以使类内样本的离散程度尽可能小。

• Fisher准则函数为：

$$max{J}_F(w)=\frac{({\overline{m}}_1-{\overline{m}}_2{)}^2}{{\overline{S}}_1^2+{\overline{S}}_2^2}$$
其中类间离散度 = $({\overline{m}}_1-{\overline{m}}_2{)}^2$，总类内离散度 = ${\overline{S}}_1^2+{\overline{S}}_2^2$。最大化Fisher准则函数即使类内数据尽可能聚集，不同的类尽可能远离。

• 确定判别器的$w$和$w_0$：

样本在方向上的投影为：$y=w^{T}x$，则$J_F(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$，$w^{\ast }={\max }_w{J}_F(w)$，需要求解使得准则函数取得最大值时所对应的$w^{\ast }$。即，求一个最大的$w^T{S}_{b}w$。那么确定方向的$w^{\ast }=S_w^{-1}(m_1-m_2)$

当样本数量$N$和特征维度$d$都很大时，$y$接近正态分布，可在空间内用贝叶斯分类器。
在两类的协方差相同时，，Fisher线性判别所得的方向实际就是最优贝叶斯决策方向，此时：
$$w_0=-\frac{1}{2}(m_1+m_2{)}^T{S}_w^{-1}(m_1-m_2)-ln\frac{p(w_2)}{p(w_1)}$$
在考虑先验概率的情况下，也可采用如下估计：
$$w_0=-\frac{1}{2}({\overline{m}}_1+{\overline{m}}_2)-\frac{1}{N_1+N_2+1}ln\frac{p(w_1)}{p(w_2)}$$

• 决策规律可表示为：

$$若g(x)=w^{T}x+w_0\{\begin{array}{c}g(x)>0,x\in w_1\\ g(x)<0,x\in w_2\end{array}$$

感知器法

是一种线性判别法，利用梯度下降法进行计算。
设一个线性判别函数为$g(y)=a^{T}y$，求解不等式$a^T{y}_i>0$的解所采用的方法是：定义一个准则函数$J(a)$，当$a$是解向量时，$J(a)$为最小。

可以采用梯度下降法来寻找一个$J(a)$。从一个随机选择的权向量$a(1)$开始，计算其梯度向量$\nabla J(a(1))$，下一个值$a(2)$由a(1)自a(1)梯度方向移动一小段距离而得到，梯度下降法的表达式为：
$$\alpha (k+1)=\alpha (k)+-{\rho }_k\nabla J$$
其中${\rho }_k$就是我们熟知的学习率——$learning-rate$
而在使用梯度下降法的时候，可以采用固定学习率或者可变学习率的方法。
对于可变学习率，可以用下面的步长来调整学习率：
$${\rho }_k=\frac{|\alpha (k{)}^T{y}_i|}{{\Vert \begin{array}{c}{y}_i\end{array}\Vert }^2}$$
经过有限的迭代之后，就可以得到一个收敛的解向量$a^{\ast }$，但是如果样本不是线性可分的，则用感知器算法就不会得到收敛解。

最小平方误差判别法

前一节的方法只能运用于线性可分的情况下，而线性不可分时，就需要用到最小平方误差法，即MSE。

该方法是将求解线性不等式组的问题转化为求解线性线性方程组的问题。
即把$Ya>0$和$Ya<0$的问题转化为$Ya=b$的问题。

定义一个误差矢量$e$，用$e$的长度的平方作为准则函数：$e=Ya-b$
准则函数的形式如下：
$$J_s(\alpha )={\Vert \begin{array}{c}Y\alpha -b\end{array}\Vert }^2=\sum _{i=1}^N({\alpha }^T{y}_i-b_i{)}^2$$
确定参数，使误差长度的平方最小，即使上式最小。也可以使用梯度下降法来求解该问题。
梯度为：$\nabla J_s(\alpha )=2Y^T(Y\alpha -b)$，当梯度具有极小值时，准则函数有最小值。
使用梯度下降法，先给定一个初始权向量$\alpha (0)$，再按照梯度下降的方向更新权向量（迭代公式为：$\alpha (k+1)=\alpha (k)-{\rho }_k{Y}^T(Y\alpha -b)$）,直到梯度下降到一个接近于0的值为止。

对于$b$我们可以取其为$b=[1,1,...,1{]}^T$，当有无穷个样本$N$时，MSE的解$g(y)={\alpha }^{T}y$以最小均方误差逼近贝叶斯判别函数，即我们得到的$a$可以使$e^2=\int (a^{T}y-g_0(x){)}^{2}p(x)dx$极小。