机器学习（西瓜书）注解：第3章 线性模型

题目：机器学习（西瓜书）注解：第3章 线性模型

        本次更新第3章，线性模型。针对该章注解有任何问题欢迎在此留言~

        本章是全书第1部分（介绍机器学习基础知识）的最后一章，章节标题为“线性模型”；

        抛开3.1节不谈，3.2节、3.3节、3.4节分别介绍了一个线性模型，分别是线性回归、对率回归、线性判别分析，其中3.2节是回归任务，3.3节和3.4节是分类任务，分类任务是机器学中更常见的任务；

        但3.3节、3.4节的对率回归和线性判别分析是针对二分类任务的，3.5节则介绍了如何利用二分类学习器解决多分类任务；

        前面也曾提到3.4节后半部分介绍了多分类线性判别分析与3.5节多分类学习顺序有些颠倒，但也实属无奈之举，因为3.5节介绍的多分类学习是问题转换型解决方法（即将多分类任务转换为二分类任务，如OvR、OvO、MvM、ECOC），而3.4节后半部分介绍的多分类线性判别分析是算法适应型解决方法（即对现有某特定二分类算法进行改进以适应多分类任务，如多分类线性判别分析以及西瓜书P68第二段最后提到的多类支持向量机[Crammer and Singer, 2001; Lee et al., 2004]等；另外，第4章介绍的决策树和第7章介绍的朴素贝叶斯分类器本身可以很好地解决多分类问题）；也就是说从3.4节后半部分就开始介绍多分类任务了，因此实际可将3.5节开头多分类任务的开篇介绍提前一些~

        多分类任务一般可以通过3.5节的转换方法解决，一般来说算法效率和精度都还很好，例如著明的LIBSVM中实现多分类时并没有直接实现多类支持向量机算法，而是使用OvO将多分类转换为多个二分类后再解决的。[Hsu, Chih-Wei, and Chih-Jen Lin. "A comparison of methods for multiclass support vector machines." IEEE transactions on Neural Networks 13.2 (2002): 415-425.]则给出实验结论，“OvO更适合实际中使用”。总之，直接解决多分类任务还是一个相对比较困难的问题，但很多场景并不需要直接解决，只要解决就可以了~

        3.6节的介绍的类别不平衡问题确实现实生活中很常见的实际问题，而且西瓜书作者在这方面也有一些该领域代表性的研究成果；注意该节提到的SMOTE算法，比较常用~

        梳理一下本章结构：3.1节引言，3.2节、3.3节、3.4节三种线性模型，3.5节、3.6节两类特别的分类问题。

（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w） 

 

第3章目录：
第3章线性模型.............................................................................................................................1
    3.1 基本形式............................................................................................................................1
    3.2 线性回归............................................................................................................................1
             1、离散属性连续化问题.................................................................................................1
             2、式(3.4)的解释............................................................................................................1
             3、式(3.7)的推导............................................................................................................2
             4、式(3.15)的解释..........................................................................................................3
    3.3 对数几率回归....................................................................................................................3
             1、式(3.19)的推导..........................................................................................................3
             2、式(3.20)和式(3.21)的解释.........................................................................................3
             3、式(3.23)和式(3.24)的推导.........................................................................................4
             4、式(3.25)的解释..........................................................................................................4
             5、式(3.26)的推导..........................................................................................................4
             6、式(3.27)的推导..........................................................................................................4
             7、式(3.29)的解释..........................................................................................................6
             8、式(3.30)的推导..........................................................................................................6
             9、式(3.31)的推导..........................................................................................................7
    3.4 线性判别分析.....................................................................................................................8
             1、式(3.36)的推导..........................................................................................................8
             2、式(3.37)的推导..........................................................................................................8
             3、式(3.38)的推导..........................................................................................................8
             4、式(3.39)的推导..........................................................................................................9
             5、式(3.40)的解释..........................................................................................................9
             6、式(3.43)的推导..........................................................................................................9
             7、式(3.44)的解释........................................................................................................10
             8、式(3.45)的推导[?]....................................................................................................10
    3.5 多分类学习.......................................................................................................................11
             1、图3.4的解释.............................................................................................................11
             2、图3.5的解释.............................................................................................................11
             3、ECOC编码长度的解释.............................................................................................11
    3.6 类别不平衡问题................................................................................................................12
             1、式(3.48)的推导.........................................................................................................12
    3.7 本章小节...........................................................................................................................12