SVM & FC+Softmax 分类

支持向量机是一种二分类模型算法，它的基本模型是定义在特征空间的间隔最大的线性分类器，说白了就是在中间画一条线，然后以 “最好地” 区分这两类点。以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。

样本数量b，类别数量n，特征长度d。

全连接+softmax（适合大样本量）：
Y=X@W+b
X [b, d] W [d, n] b [n] Y [b, n]
Y按行进行softmax，即每个样本属于各个类别的概率和为1
使用交叉熵损失优化

SVM（适合小样本量）：
Y=X@W
X [b, d] W [d, n] Y [b, n]
使用sigmoid将结果映射到[0, 1]
原则上每个样本属于每个类别的概率均属于[0, 1]且无和为1的限制
W每列代表一个SVM分类器，n个类别共n个SVM分类器，每个SVM分类器输出该样本属于某一个类的概率（即每个SVM均做二分类）
$$\begin{gathered} 对于第j个SVM分类器，其损失定义为： \\ SV{M}_j=\frac{1}{b}\sum _{i=1}^b(ou{t}_{ij}-g{t}_{ij}{)}^2 \\ ou{t}_{ij}\in [0,1]g{t}_{ij}=0/1，且对“行和”“列和”无限制 \\ 总损失：SV{M}_j=\frac{1}{n}\frac{1}{b}\sum _{j=1}^n\sum _{i=1}^b(ou{t}_{ij}-g{t}_{ij}{)}^2 \end{gathered}$$