机器学习笔记之线性分类

线性分类

​ 对于线性分类任务，可以再线性回归模型的函数湖面加入一层非线性的激活函数，激活函数的反函数称为连接函数(Link function)，有两种线性分类的方式

​ 1.硬分类：

​ a.线性判别分析

​ b.感知机

​ 2.软分类

​ （1）生成式

​ a. GDA

​ b. 朴素贝叶斯

​ （2）判别式：logistic 回归

一、感知机算法

​ 首先选取激活函数为
$$sign(a)=\{\genfrac{}{}{0ex}{}{+1,a\ge 0}{-1,a<0}$$
​ 通过该函数可以将线性回归的结果映射到两个类别，接下来定义损失函数，在这里将损失函数定义为错误分类的个数，可以使用指示函数，但指示函数不可导，如下所示，将指示函数定义为，
$$L(W)=\sum _{i=1}^{N}I\{y_i{W}^T{x}_i<0\}$$
上面这样定义是因为当正确分类时，$y_i{W}^T{x}_i$大于等于0，在$W$有一个微小的变化$\Delta W$的时候，指示函数的值可能会从0越变到1，也可能从1越变到0，因此说指示函数不可导，这也是个np难得问题，而$y_i{W}^T{x}_i$是关于$W$的线性函数，因此将损失函数定义为
$$L(W)=\sum _{X_i\in D_{error}}-y_i{W}^T{x}_i$$

二、线性判别分析LDA

​ LDA的基本思想是，选定一个方向，其方向向量用W表示，将训练样本顺着这个方向投影，投影后的结果具有下面的特点

​ 1.类内距离小（高内聚），即相同类的样本投影距离接近。

​ 2.类间距离大（低耦合），即不同类的样本投影距离疏远。

​ 下面开始定义算法，假设数据样本向量为$X_i$，将$x_i$顺着$W$方向投影有
$$z_i=W^T{x}_i=|W||x_i|\cos \theta$$
假设属于两类的样本的数量分别为$N_1，N_2$，$C_1,C_2$​分别代表类别1和类别2
$$\begin{gathered} C_1:\overline{Z_1}=\frac{1}{N_1}\sum _{i=1}^{N_1}{W}^T{x}_i \\ {S}_{Z_1}=\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{Z_1})(z_i-\overline{Z_1}{)}^T \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}(W^T{x}_i-\overline{Z_1})(W^T{x}_i-\overline{Z_1}{)}^T \end{gathered}$$

$$\begin{gathered} C_2:\overline{Z_2}=\frac{1}{N_2}\sum _{i=1}^{N_2}{W}^T{x}_i \\ {S}_{Z_2}=\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{Z_2})(z_i-\overline{Z_2}{)}^T \\ =\frac{1}{N_2}\sum _{i=1}^{N_2}(W^T{x}_i-\overline{Z_2})(W^T{x}_i-\overline{Z_2}{)}^T \end{gathered}$$
类间距离可以表示为$(\overline{Z_1}-\overline{Z_2}{)}^2$​，类内距离表示为$S_1+S_2$​，令$J(W)=\frac{(\overline{Z_1}-\overline{Z_2}{)}^2}{S_1+S_2}$​，故优化目标为
$$\hat{W}=\underset{W}{\mathrm{argmax}}J(W)$$
由
$$\begin{gathered} (\overline{Z_1}-\overline{Z_2}{)}^2=(\frac{1}{N_1}\sum _{i=1}^{N_1}{W}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{W}^T{x}_i{)}^2 \\ =W^T(\overline{X_{c_1}}-\overline{X_{c_2}})(\overline{X_{c_1}}-\overline{X_{c_2}}{)}^{T}W \end{gathered}$$

$$\begin{gathered} S_1+S_2=\frac{1}{N_1}\sum _{i=1}^{N_1}(W^T{x}_i-\overline{Z_1})(W^T{x}_i-\overline{Z_1}{)}^T+\frac{1}{N_2}\sum _{i=1}^{N_2}(W^T{x}_i-\overline{Z_2})(W^T{x}_i-\overline{Z_2}{)}^T \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}{W}^T(x_i-\overline{X_{c_1}})(x_i-\overline{X_{c_1}}{)}^{T}W+\frac{1}{N_2}\sum _{i=1}^{N_2}{W}^T(x_i-\overline{X_{c_2}}(x_i-\overline{X_{c_2}}{)}^{T}W \\ =W^T{S}_{c_1}W+W^T{S}_{c_2}W \\ =W^T(S_{c_1}+S_{c_2})W \end{gathered}$$

其中，$S_{c_1},S_{c_2}$分别是类别1和类别2的协方差矩阵，因此
$$\begin{gathered} J(W)=\frac{W^T(\overline{X_{c_1}}-\overline{X_{c_2}})(\overline{X_{c_1}}-\overline{X_{c_2}}{)}^{T}W}{W^T(S_{c_1}+S_{c_2})W} \\ =\frac{W^T{S}_{b}W}{W^T{S}_{w}W}=W^T{S}_{b}W(W^T{S}_{w}W{)}^{-1} \end{gathered}$$
求最优解
$$\begin{gathered} \frac{\partial J(W)}{\partial W}=2S_{b}W(W^T{S}_{w}W{)}^{-1}+W^T{S}_{b}W(-1)(W^T{S}_{w}W{)}^{-2}2S_{w}W=0 \\ \Rightarrow S_b(W^T{S}_{w}W)-W^T{S}_{b}W{S}_{w}W=0 \\ \Rightarrow (W^T{S}_{b}W)S_{w}W=S_b(W^{T}SwW) \\ whereW\in R^{p\times 1},W^T\in R^{1\times P},S_w\in R^{P\times P} \\ then{W}^T{S}_{b}Wand{W}^T{S}_{w}WareReality \end{gathered}$$
于是
$$S_{w}W=\frac{W^T{S}_{w}W}{W^T{S}_{b}W}{S}_w^{-1}{S}_{b}W$$
实际上，我们只关心W的方向，并不关心W的大小，于是
$$\begin{gathered} S_{w}W=\frac{W^T{S}_{w}W}{W^T{S}_{b}W}{S}_w^{-1}{S}_{b}W\propto S_w^{-1}{S}_{b}W=S_w^{-1}(\overline{X_{c_1}}-\overline{X_{c_2}})(\overline{X_{c_1}}-\overline{X_{c_2}}{)}^{T}W \\ where(\overline{X_{c_1}}-\overline{X_{c_2}}{)}^T\in R^{1\times P} \\ then{S}_{w}W\propto S_w^{-1}(\overline{X_{c_1}}-\overline{X_{c_2}}{)}^T \end{gathered}$$
如果$S_w^{-1}$为对角矩阵且各向同性，那么$S_w^{-1}\propto I\Rightarrow W\propto (\overline{X_{c_1}}-\overline{X_{c_2}})$

三、Logistic回归

​ Logistic回归通过引入一个非线性函数，将实数域的值映射到[0, 1]区间的概率值，这里的非线性函数为sigmoid函数
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
对于logistic回归的模型定义如下
$$\begin{gathered} P_1=P(Y=1|X)=\sigma (W^{T}X)=\frac{1}{1+e^{-W^{T}X}} \\ {P}_0=P(Y=0|x)=1-P(Y=1|X)=\frac{e^{-W^{T}X}}{1+e^{-W^{T}X}} \end{gathered}$$
简化为
$$P(Y|X)=P_1^Y{P}_0^{1-Y},Y=1,P=P_1,Y=0,P=P_0$$
利用最大似然估计
$$\begin{gathered} \hat{W}=\underset{W}{\mathrm{argmax}}\log P(Y|X) \\ =\underset{W}{\mathrm{argmax}}\log \prod _{i=1}^{N}P(y_i|x_i) \\ =\underset{W}{\mathrm{argmax}}\sum _{i=1}^{N}P(y_i|x_i) \\ =\underset{W}{\mathrm{argmax}}\sum _{i=1}^N(y_i\log P_1+(1-y_i)\log P_0) \\ =\underset{W}{\mathrm{argmin}}\sum _{i=1}^N(-y_i\log P_1-(1-y_i)\log P_0) \end{gathered}$$
最后一项可以称为Cross Entropy，可以由信息论推出

四、高斯判别模型GDA(概率生成模型)

​ 概率判别模型通过求出每个样本属于每个类别的具体概率，最终判定样本属于哪一个类别，生成模型与此不同。我们的目的实际是求样本属于哪个类别的概率大，生成模型借助贝叶斯定理$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$，我们可以通过$\frac{P(X|Y)P(Y)}{P(X)}$去判别概率的大小，有
$$P(Y|X)\propto P(X|Y)P(Y)=P(X,Y)$$
生成模型实际是对联合概率进行建模，假设
$$\begin{gathered} 1.y\sim Bernoulli(\varphi ) \\ 2.x|y=1\sim N({\mu }_1,\Sigma ) \\ 3.x|y=0\sim N({\mu }_0,\Sigma ) \end{gathered}$$
似然函数为
$$\begin{gathered} L(\theta )=\log \prod _{i=1}^{N}p(x_i|y_i) \\ =\sum _{i=1}^{N}p(x_i|y_i)p(y_i) \\ =\sum _{i=1}^N[\log p(x_i|y_i)+\log p(y_i)] \\ =\sum _{i=1}^N[(1-y_i)\log N({\mu }_0,\Sigma )+y_i\log N({\mu }_1,\Sigma )+y_i\log \varphi +(1-y_i)\log (1-\varphi )] \end{gathered}$$
利用最大似然估计，求$\underset{\varphi ,{\mu }_0,{\mu }_1,\Sigma }{\mathrm{argmax}}L(\theta )$

求$\varphi$，令
$$\frac{\partial L(\theta )}{\partial \varphi }=\sum _{i=1}^N(\frac{y_i}{\varphi }+\frac{y_i-1}{1-\varphi })=0$$
求出
$$\varphi =\frac{{\sum }_{i=1}^N{y}_i}{N}=\frac{N_1}{N}$$
求${\mu }_1$​，对于与${\mu }_1$相关的第二项，有
$$\begin{gathered} \sum _{i=1}^N{y}_i\log N({\mu }_1,\Sigma )=\sum _{i=1}^N{y}_i\frac{1}{(2\pi {)}^{\frac{1}{P}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)} \\ =\sum _{i=1}^N{y}_i(\frac{1}{(2\pi {)}^{\frac{1}{P}}|\Sigma {|}^{\frac{1}{2}}}-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)) \end{gathered}$$
对${\mu }_1$求偏导至于第二项有关
$$\begin{gathered} \sum _{i=1}^N{y}_i(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1))=\sum _{i=1}^N{y}_i(-\frac{1}{2}(x_i^T{\Sigma }^{-1}+{\mu }_1^T{\Sigma }^{-1})(x_i-{\mu }_1)) \\ =-\frac{1}{2}\sum _{i=1}^N{y}_i(x_i^T{\Sigma }^{-1}{x}_i-{\mu }_1^T{\Sigma }^{-1}{x}_i-x_i^T{\Sigma }^{-1}{\mu }_1+{\mu }_1^T{\Sigma }^{-1}{\mu }_1) \\ =-\frac{1}{2}\sum _{i=1}^N{y}_i(x_i^T{\Sigma }^{-1}{x}_i-2x_i^T{\Sigma }^{-1}{\mu }_1+{\mu }_1^T{\Sigma }^{-1}{\mu }_1) \end{gathered}$$
令$\Delta =-\frac{1}{2}{\sum }_{i=1}^N{y}_i(x_i^T{\Sigma }^{-1}{x}_i-2x_i^T{\Sigma }^{-1}{\mu }_1+{\mu }_1^T{\Sigma }^{-1}{\mu }_1)$， 由$\Delta$对${\mu }_1$求偏导，令
$$\begin{gathered} \frac{\partial \Delta }{\partial {\mu }_1}=-\frac{1}{2}\sum _{i=1}^N{y}_i(-2{\Sigma }^{-1}{x}_i+2{\Sigma }^{-1}{\mu }_1)=0 \\ \Rightarrow \sum _{i=1}^N(y_i{\Sigma }^{-1}{x}_i-y_i{\Sigma }^{-1}{\mu }_1)=0 \\ \Rightarrow \sum _{i=1}^N{y}_i{x}_i=\sum _{i=1}^N{y}_i{\mu }_1 \\ \Rightarrow {\mu }_1=\frac{{\sum }_{i=1}^N{y}_i{x}_i}{N_1} \end{gathered}$$
求解${\mu }_0$，由于与${\mu }_1$正反对称，所以
$${\mu }_0=\frac{{\sum }_{i=1}^N(1-y_i)x_i}{N_0}$$
求$\Sigma$，$\Sigma$与$L(\theta )$的前两项有关，对矩阵有以下性质
$$\begin{gathered} \frac{\partial tr(AB)}{\partial A}=B^T \\ \frac{\partial |A|}{\partial A}=|A|A^{-1} \\ tr(AB)=tr(BA) \\ tr(ABC)=tr(CBA)=tr(BCA) \end{gathered}$$
对$\Sigma$求最大似然
$$\hat{\Sigma }={\mathrm{argmax}}_{\Sigma }(\sum _{x_i\in c_1}\log N({\mu }_1,\Sigma )+\sum _{x_i\in c_1}\log N({\mu }_2,\Sigma ))$$
由
$$
\sum_{i=1}^N{\log{N(\mu, \Sigma)}}=\sum_{i=1}^{N{\log{\frac{1}{(2\pi)}{\frac{1}{p}}|\Sigma|^{\frac{1}{2}}e}{\frac{1}{2}(x_i-\mu)^T\Sigma{-1}(x_i-\mu)}}}\
=\sum_{i=1}^{N(\log{\frac{1}{(2\pi)}\frac{1}{p}|\Sigma|^{\frac{1}{2}}}-\frac{1}{2}(x_i-\mu)}T\Sigma^{-1}(x_i-\mu))\
\qquad\quad=\sum_{i=1}^{N(\log{\frac{1}{(2\pi)}{\frac{1}{P}}}}+\log{\Sigma}^{{-\frac{1}{2}}-\frac{1}{2}(x_i-\mu)}T\Sigma^{-1}(x_i-\mu))\
\qquad=Const-\frac{1}{2}N\log|\Sigma|-\sum_{i=1}^{N{\frac{1}{2}(x_i-\mu)}T\Sigma^{-1}(x_i-\mu)}\
\qquad\quad=Const-\frac{1}{2}N\log|\Sigma|-\frac{1}{2}\sum_{i=1}^{N{tr((x_i-\mu)}T\Sigma^{-1}(x_i-\mu))}\
\qquad\quad=Const-\frac{1}{2}N\log|\Sigma|-\frac{1}{2}tr(\sum_{i=1}^N{(x_i-\mu)T\Sigma^{-1}(x_i-\mu)})\
\qquad\quad=Const-\frac{1}{2}N\log|\Sigma|-\frac{1}{2}tr(\sum_{i=1}^N{(x_i-\mu)T(x_i-\mu)\Sigma^{-1}})\
=Const-\frac{1}{2}N\log|\Sigma|-\frac{1}{2}Ntr(S\Sigma^{-1})\

$$于是$$
\sum_{x_i\in{c_1}}{\log{N(\mu_1, \Sigma)+}}\sum_{x_i\in{c_1}}{\log{N(\mu_2, \Sigma)}}=Const-\frac{1}{2}N\log|\Sigma|-\frac{1}{2}N_1tr(S_1\Sigma^{{-1})-\frac{1}{2}N_2tr(S_2\Sigma}{-1})
KaTeX parse error: Can't use function '$' in math mode at position 3: 令$̲\Delta=Const-\f…
\frac{\partial{\Delta}}{\partial\Sigma}=-\frac{1}{2}|\Sigma|^{{-1}|\Sigma|\Sigma}{-1}+\frac{1}{2}N_1S_1^T\Sigma{-2}+\frac{1}{2}N_2S_2^T\Sigma{-2}=0\
\Rightarrow{-\frac{1}{2}+\frac{1}{2}N_1S_1+\frac{1}{2}N_1S_1}=0
$$
解出$\Sigma =\frac{N_1{S}_1+N_2{S}_2}{N}$

五、朴素贝叶斯

​ 朴素贝叶斯算法的思想就是贝叶斯假设，也称为田间独立性假设，从概率图模型的视角来看就是最简单的概率图模型，而且是有向图。

​ 假设各个属性独立
$$p(X|Y)=\prod _{i=1}^{P}P(x_i|Y)$$
即
$$x_i\perp x_j|y_i,\forall i\ne j$$
利用贝叶斯定理，对单次观测
$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}=\frac{{\prod }_{i=1}^{P}P(x_i|y)P(y)}{P(x)}$$
对于二分类，假设$y\sim BernoulliDist$，对于多分类，假设$y\sim CategorialDist$，如果$x_i$为连续变量，假设$P(x_i|y)\sim N({\mu }_i,{\sigma }_i^2)$，$x_i$为离散变量，假设为类别分布Categorial Distribution。对这些参数的估计，常用 MLE 的方法直接在数据集上估计，由于不需要知道各个维度之间的关系，因此，所需数据量大大减少了。估算完这些参数，再代入贝叶斯定理中得到类别的后验分布。

t}}$，对于多分类，假设$y\sim{Categorial\quad{Dist}}$，如果$x_i$为连续变量，假设$P(x_i|y)\sim{N(\mu_i, \sigma_i^2)}$，$x_i$为离散变量，假设为类别分布Categorial Distribution。对这些参数的估计，常用 MLE 的方法直接在数据集上估计，由于不需要知道各个维度之间的关系，因此，所需数据量大大减少了。估算完这些参数，再代入贝叶斯定理中得到类别的后验分布。