多分类器：KNN，SVM，Softmax，2-Layer-Affine-Net（以图像分类为例子）

多分类器：KNN，SVM，Softmax，2-Layer-Affine-Net（以图像分类为例子）

记录一下 CS 231N 计算机视觉这门课所提到的一些基础分类器，结合机器学习中学到的二元分类器算法，并以 CIFAR 10 作为训练集测试多分类器性能。

KNN K近邻分类

主要思路：寻找训练集到测试集中最相似的 $k$ 个图像（距离由矩阵二范数、或是 $Frobinus$ 范数表示），并由 $k$ 个最优结果投票决定其标签。

算法流程：

1. 训练集导入 $X$ 与标签 $y$
2. 测试集输入 $\hat{x}$ ，找到 $X$ 中与 $\hat{x}$ 距离最近的 $k$ 个图像：$\chi =\{{\tilde{X}}_1,\cdots ,{\tilde{X}}_k\}$ （一般用二范数距离）
3. 对标签进行计数：$\eta =\{({\tilde{X}}_1,{\tilde{y}}^{(1)}),\cdots ,({\tilde{X}}_k,{\tilde{y}}^{(p)})\}$
4. 找到 $\eta$ 中出现次数最多的 ${\tilde{y}}^{(i)}$ ，即为这次分类的结果。

**图像分类结果：**对 $CIFAR-10$ 这个数据集上选取不同 $k$ 值进行五折 $Jackknife$ 交叉验证总体准确度在 $27\%$ 左右。

SVM 支持向量机

支持向量机依赖于凸集分离定理，即：两个不相交凸集之间可以用超平面分离。但训练集中的数据通常不是凸集。

二元支持向量机

二元支持向量机的最优化问题的拉格朗日函数为：（最后为正则项）
$$L(w,b,a)=\frac{1}{2}\Vert w{\Vert }^2-\frac{1}{2}\sum _i^N{a}_i{y}_i(w^T{x}_i-b)+\sum _i{a}_i$$
最优化如上函数，得到最优解 $w$ 。这里的 $w$ 可以单位化为 $w=\frac{w}{\Vert w\Vert }$ ，实际上等价于：
$$L(w,b,a)=-\frac{1}{2}\sum _i^N{a}_i{y}_i(w^T{x}_i-b)+\sum _i{a}_i$$

多元支持向量机

多元支持向量机相当于每个第 $i$ 类与非 $i$ 类之间进行支持向量机的划分。假设总供 $m$ 个组别，则在多分类问题中，相当于建立了 $m$ 个互相独立的支持向量机模型。 $W\in {\mathbb{R}}^{m\ast n}$ 为一个权重矩阵，$Wx,x\in {\mathbb{R}}^n$ 内积输出的结果为一个向量，分别表示对每个类别的评分。

$N$ 元支持向量机对训练集的一个元素 $x_i$ 的损失函数为：（$j$ 代表类别，$s_j$ 表示对第 $j$ 个组别上的评分， $s_{y_i}$ 表示训练集在第 $j$ 个支持向量机空间内的标签 ( $-1$ or $1$)）即表明这一分类在不属于第 $y_i$ 个分类的支持向量机空间下的重错分的分数。
$$L_i=\sum _{j\ne y_i}\max (0,s_j-s_{y_i}+1)$$
整个损失函数为：（这里省略正则项，也省略了惩罚项的系数）这里的损失函数实际上也可以定义为 $\max (0,s_j-s_{y_i}+1{)}^2$ ，取决于对误差的容忍性。
$$L=\sum _i{L}_i=\sum _i\sum _{j\ne y_i}\max (0,s_j-s_{y_i}+1)$$
如果分类正确，$s_j-s_{y_i}+1<0$ 整个损失函数就为 $0$ ，如果全部分类均不正确，则损失函数理论上能够达到正无穷。

交叉验证结果分析：准确率 0.379000，较 $KNN$ 来说有更好的泛化能力。权重矩阵比较模糊。

Softmax 分类器

又称（多分类逻辑回归模型）。对于二元逻辑回归问题，对于一个输入给出的输出 $\hat{y}$ 是一个概率。
$$\hat{Y}=\frac{\exp (w^{T}x)}{1+\exp (w^{T}x)}\in [0,1)$$
在二元逻辑回归中，实际上这个函数可以写为：
$$\hat{Y}=\frac{\exp (w^{T}x)}{\exp (0)+\exp (w^{T}x)}\in [0,1)$$
实际上 $\frac{\exp (0)}{\exp (0)+exp(w^{T}x)}$ 是取 $0$ 的概率，而原本输出的 $\hat{Y}$ 表示属于 $1$ 类的概率，这个函数具有非常好的二元性。将其扩展到所有 $m$ 个类别，输出是一个 $m$ 维向量，因此公式如下：
$$P(Y=k|X=x_i)=\frac{\exp (W{x}_i)}{{\sum }_j^m\exp ((W{x}_i{)}_j)}\in {\mathbb{R}}^m$$
与二元逻辑回归的损失函数相同，多分类逻辑回归的损失函数如果用最小二乘定义的话，会是一个非凸的函数，不利于求解。这里使用的是最大似然估计的方法：
$$L_i=-\log P(Y=y_i|X=x_i)$$
十折交叉验证准确率：

lr 1.000000e-07 reg 2.500000e+04 train accuracy: 0.348837 val accuracy: 0.365000
lr 1.000000e-07 reg 5.000000e+04 train accuracy: 0.330980 val accuracy: 0.342000
lr 5.000000e-07 reg 2.500000e+04 train accuracy: 0.349531 val accuracy: 0.363000
lr 5.000000e-07 reg 5.000000e+04 train accuracy: 0.333429 val accuracy: 0.351000
best validation accuracy achieved during cross-validation: 0.365000

图像上来说，这个权重矩阵好像比 $SVM$ 更清晰一点。

Two Layer Affine Network

神经网络的主要基础就是 求解梯度的链式法则： $\frac{\partial f(g(x))}{\partial x}=\frac{\partial f}{\partial g}\frac{\partial g}{\partial x}$，以及向量值函数的梯度的求解。
$$z\leftarrow f(.)\{\begin{array}{l}{g}_1\\ g_2\\ ⋮\\ g_n\end{array}\text{where: each }{g}_i(.)\{\begin{array}{l}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}$$
对于向量值函数的求导 $\frac{\partial g}{\partial x}$，我们最后得到的结果是一个 $Jacob$ 矩阵，我在 凸优化 [1]：梯度与次梯度 这篇文章中写过。将整个 $Jacob$ 矩阵记为 $\frac{\partial g}{\partial x}=J$ 。在这里最后总的梯度是 $J$ 与 $\frac{\partial f}{\partial g}=\nabla$ 的内积：$\frac{\partial f}{\partial x}=J\times \nabla$ 。

单层神经网络如支持向量机中的打分方式一样：$f=Wx$，而双层神经网络如下：
$$f=W_2\max (0,W_{1}x)$$
这里对应的 $\max$ 针对每一个元素。、一般来说，如果两层的神经网络都是线性的，则最终这个神经网络的输出结果也是线性的（第二层相当于对第一层神经网络进行一个降秩操作），相当于一层神经网络。

这里用的是由两个仿射变换构成神经网络。分别为 $y_1=W_{1}x+b_1$ 这是第一层神经网络， $y_2=W_2{y}_1+b_2$ 这是第二层神经网络。其中 $W_1,W_2$ 全部初始化为服从正态分布的随机数构成的矩阵。

这里损失函数用 $softmax$ 函数来定义：（这里加上正则化）
$$\begin{array}{rl}z& =W_2\max (0,W_{1}x+b_1)+b_2\\ L(W_1,W_2,b_1,b_2)& =\frac{1}{N}\log (softmax(z))+\alpha (\Vert W_1{\Vert }_{Fro}^2+\Vert W_2{\Vert }_{Fro}^2)\end{array}$$
下降方法：对上式求导，进行随机梯度下降法。第一张图是损失函数，第二张图是准确率

算法中 $W_1$ 权重矩阵的可视化模型（$W_1$ 有 $50$ 行）。

如上线性神经网络的分类精确率提高的原因初步猜测是：

1. 每个分类下都有若干张图（也就是最后一层神经网络的行数），相当于一个由若干个支持向量机组成的集成学习
2. 在集成学习中，每个分类器都进行投票（也就是最后我们得到的 $f=W_{2}z+b_2$ 这一步），从而能够达到更好的分类精确度。