人工智能大作业

项目github地址链接

人工智能大作业——讨论手写数字识别的几种实现方法

一、实验目的

用多种机器学习方法实现手写数字识别，并比较不同。

二、实验环境

2.1 Python 3.7.6

2.2 Anaconda Spyder IDE

三、实验原理

3.1 线性判别(fisher判别)¹

给定训练样本集，设法将样例投影到一条直线上，是的同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

给定数据集$D=\{({\mathbf{x}}_i,y_i){\}}_{i=1}^m,y_i\in \{0,1\}$，令$X_i$、${\mathbf{\mu }}_i$、${\mathbf{\Sigma }}_i$分别表示第$i\in \{0,1\}$类示例的集合、均值向量、协方差矩阵。若将数据投影到直线$\mathbf{w}$上，则两类样本的中心在直线上的投影分别为${\mathbf{w}}^T{\mu }_0$和${\mathbf{w}}^T{\mu }_1$；若将所有样本点都投影到直线上，则两类样本的协方差分布为${\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}$和${\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}$。

欲使同类样例的投影尽可能接近，可以让同类样例投影点的协方差尽可能小，即${\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}$尽可能小；而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即$\Vert {\mathbf{w}}^T{\mathbf{\mu }}_0-{\mathbf{w}}^T{\mathbf{\mu }}_1{\Vert }_2^2$尽可能大。同时考虑二者，则可得到最大化目标
$$\begin{array}{rl}& \\ J& =\frac{\Vert {\mathbf{w}}^T{\mathbf{\mu }}_0-{\mathbf{w}}^T{\mathbf{\mu }}_1{\Vert }_2^2}{{\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}}\\ & =\frac{{\mathbf{w}}^T({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^T\mathbf{w}}{{\mathbf{w}}^T({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}.\end{array}\text{\hspace{1em}(1)}$$
定义“类内散度矩阵”
$$\begin{array}{rl}{S}_{\mathbf{w}}& ={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1\\ & =\sum _{\mathbf{x}\in X_0}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^T+\sum _{\mathbf{x}\in X_1}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}_1{)}^T,\end{array}\text{\hspace{1em}(2)}$$
以及“类间散度矩阵”
$$\begin{array}{rl}{S}_b& =({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^T,\end{array}\text{\hspace{1em}(3)}$$
则(1)式可重写为
$$\begin{array}{rl}& \\ J& =\frac{{\mathbf{w}}^T{S}_b\mathbf{w}}{{\mathbf{w}}^T{S}_{\mathbf{w}}\mathbf{w}}.\end{array}\text{\hspace{1em}(4)}$$
​ 令${\mathbf{w}}^T{S}_{\mathbf{w}}\mathbf{w}=1$，则(4)式等价于
$$\begin{gathered} \underset{\mathbf{w}}{\min }-{\mathbf{w}}^T{S}_b\mathbf{w} \\ s.t.{\mathbf{w}}^T{S}_{\mathbf{w}}\mathbf{w}=1.\text{\hspace{1em}(5)} \end{gathered}$$
由拉格朗日乘子法，上式等价于
$$S_b\mathbf{w}=\lambda S_{\mathbf{w}}\mathbf{w},\text{\hspace{1em}(6)}$$
其中$\lambda$是拉格朗日乘子。又$S_b\mathbf{w}$的方向恒为${\mathbf{\mu }}_0-{\mathbf{\mu }}_1$，令
$$S_b\mathbf{w}=\lambda ({\mathbf{\mu }}_0-{\mathbf{\mu }}_1),\text{\hspace{1em}(7)}$$
代入式(6)即得
$$\mathbf{w}=S_{\mathbf{w}}^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1).\text{\hspace{1em}(8)}$$
通常对$S_{\mathbf{w}}$进行奇异值分解，即$S_{\mathbf{w}}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，然后由$S_{\mathbf{w}}^{-1}=\mathbf{U}{\mathbf{\Sigma }}^{-1}{\mathbf{V}}^T$得到$S_{\mathbf{w}}^{-1}$。

3.2 集成学习²

给定二分类训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$
其中，每个样本点由实例与标记组成。实例$x_i\in \mathcal{X}\subseteq {\mathcal{R}}^n$，标记$y_i\in \mathcal{Y}=\{-1,+1\}$，$\mathcal{X}$是实例空间，$\mathcal{Y}$是标记集合。

3.2.1 Bagging

random forest

表1

---

输入：训练集$T=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_N,y_N)\}$；基学习算法$\mathfrak{L}$；训练轮数$M$

过程：

1：$form=1,2,...,Mdo$

2： 随机选择几个属性用于决策树的生成​

3： $h_m=\mathfrak{L}(T,{\mathcal{T}}_{bs}),{\mathcal{T}}_{bs}$是自助采样产生的样本分布​

4：$endfor$

输出：$H(x)=\underset{y\in \mathcal{Y}}{\mathrm{argmax}}\sum _{m=1}^M\mathbb{I}(h_m(\mathbf{x})=y)$

---

3.2.2 Boosting

adaboost

1.初始化训练数据的权值分布
$$D_1=\left(w_{11},...,w_{1i},...,w_{1N}\right),w_{1i}=\frac{1}{N},i=1,2,...,N\text{\hspace{1em}(9)}$$
2.对$m=1,2,...,M$

a.使用具有权值分布$D_m$的训练数据集学习，得到基本分类器
$$G_m(x):\mathcal{X}\to \{-1,+1\}$$

b.计算$G_m(x)$在训练数据集上的分类错误率
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}\mathbb{I}(P(G_m(x_i)\ne y_i)\text{\hspace{1em}(10)}$$

c.计算$G_m(x)$的系数
$${\alpha }_m=\frac{1}{2}\ln \frac{1-e_m}{e_m}\text{\hspace{1em}(11)}$$

d.更新训练数据集的权值分布
$$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})\text{\hspace{1em}(12)}$$

$$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,...,N\text{\hspace{1em}(13)}$$

其中，$Z_m$是规范化因子
$$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))\text{\hspace{1em}(14)}$$
3.构建基本分类器的线性组合
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)\text{\hspace{1em}(15)}$$
得到最终分类器
$$\begin{array}{rl}G(x)& =sign(f(x))\\ & =sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))\end{array}\text{\hspace{1em}(16)}$$

四、实验步骤

4.1 线性判别

输入：数据集

$D=\{({\mathbf{x}}_i,y_i){\}}_{i=1}^m,y_i\in \{0,1\};G_j:X_j=\{({\mathbf{x}}_i^j,y_i^j){\}}_{j=1}^{n_j},i=1,2,...,m,j\in \{0,1\}$，其中，下标$i$表示第$i$个样例，上标$j$表示第$j$类。

1. 计算类内散度矩阵$S_{\mathbf{w}}$

2. 计算两类样例均值差${\mathbf{\mu }}_0-{\mathbf{\mu }}_1$

3. 对$S_{\mathbf{w}}$进行奇异值分解得到$S_{\mathbf{w}}^{-1}$

4. 计算投影向量$\mathbf{w},\mathbf{w}=S_{\mathbf{w}}^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)$

5. 计算两类样例投影中心的中点$c,c=\frac{1}{2}({\mathbf{w}}^T{\mathbf{\mu }}_0+{\mathbf{w}}^T{\mathbf{\mu }}_1)$

6. 根据Fisher判别函数，对每一个输入的$\mathbf{x}$进行判别
   $$F(\mathbf{x})={\mathbf{w}}^T\mathbf{x}-c=\{\begin{array}{l}\ge 0,\mathbf{x}\in G_0\\ <0,\mathbf{x}\in G_1\end{array}\text{\hspace{1em}(17)}$$

输出：

$\mathbf{x}\in G_j,j\in \{0,1\}$。

4.2 adaboost

表2

---

输入：训练集$D=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_N,y_N)\}$；基学习算法$\mathfrak{L}$；训练轮数$M$

过程：

1：${\mathcal{D}}_1(\mathbf{x})=1/m$

2：$form=1,2,...,Mdo$

3： $h_m=\mathfrak{L}(D,{\mathcal{D}}_m)$

4： ${ϵ}_m=P_{\mathbf{x}\sim {\mathcal{D}}_m}(h_m(\mathbf{x})\ne f(\mathbf{x}))$

5： $if{ϵ}_m>0.5thenbreak$

6： ${\alpha }_m=\frac{1}{2}\ln \frac{1-{ϵ}_m}{{ϵ}_m}$

7： ${\mathcal{D}}_{m+1}(\mathbf{x})=\frac{{\mathcal{D}}_m(\mathbf{x})\exp (-{\alpha }_{m}f(\mathbf{x})h_m(\mathbf{x}))}{Z_m},Z_m=\sum _{m=1}^M{\mathcal{D}}_m(\mathbf{x})\exp (-{\alpha }_{m}f(\mathbf{x})h_m(\mathbf{x}))$

8：$endfor$

输出：$H(x)=sign(\sum _{m=1}^M{\alpha }_m{h}_m(\mathbf{x}))$

---

五、实验结果

分别使用线性判别法和集成学习中的随机森林和adaboost算法对手写数字进行识别。

1.线性判别法识别结果

图1

2.决策树识别结果

图2

3.bagging识别结果

图3

4.随机森林算法识别结果

图4

5.adaboost识别结果

图5

可以看出，识别效果最好的算法是随机森林，最次的是线性判别。算法按识别效果从好到次排序：random forest, adaboost, bagging, decision tree, LDA。

参考文献

---

1. 清华周志华.机器学习[M]. 北京:清华大学出版社, 2016. 171-190. ↩︎

2. 李航.统计学习方法[M]. 北京:清华大学出版社, 2019. 155-157. ↩︎