SVM、LR如何做多分类

一、普适多分类学习

参考文献：西瓜书p63

二、LR做多分类

先回顾基本的二项逻辑回归
https://blog.csdn.net/csdn_lzw/article/details/79594958

逻辑回归通过比较两个条件概率值的大小，将实例分到概率值大的那一类。

多项逻辑回归

参考文献 统计学习方法p80

多项逻辑回归又称softmax回归
参考文献https://blog.csdn.net/google19890102/article/details/49738427

三、多分类算法和二分类算法的选择

参考文献：http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
有人会觉得对于一个多分类问题，可以使用多个二分类来完成，对于多分类问题是直接选择多分类的分类器还是选择多个二分类的分类器进行叠加，在UFLDL中，作者给出了这样的解释：取决于类别之间是否互斥。

对于一个多分类的问题，是直接选择多分类器直接计算还是选择多个二分类器进行计算取决于问题中类别之间是否互斥。

是互斥的 –> 多分类器或者多个二分类器
不是互斥的 –> 多个二分类器