机器学习(西瓜书)注解:第3章 线性模型

题目:机器学习(西瓜书)注解:第3章 线性模型

        本次更新第3章,线性模型。针对该章注解有任何问题欢迎在此留言~

        本章是全书第1部分(介绍机器学习基础知识)的最后一章,章节标题为“线性模型”;

        抛开3.1节不谈,3.2节、3.3节、3.4节分别介绍了一个线性模型,分别是线性回归、对率回归、线性判别分析,其中3.2节是回归任务,3.3节和3.4节是分类任务,分类任务是机器学中更常见的任务;

        但3.3节、3.4节的对率回归和线性判别分析是针对二分类任务的,3.5节则介绍了如何利用二分类学习器解决多分类任务;

        前面也曾提到3.4节后半部分介绍了多分类线性判别分析与3.5节多分类学习顺序有些颠倒,但也实属无奈之举,因为3.5节介绍的多分类学习是问题转换型解决方法(即将多分类任务转换为二分类任务,如OvR、OvO、MvM、ECOC),而3.4节后半部分介绍的多分类线性判别分析是算法适应型解决方法(即对现有某特定二分类算法进行改进以适应多分类任务,如多分类线性判别分析以及西瓜书P68第二段最后提到的多类支持向量机[Crammer and Singer, 2001; Lee et al., 2004]等;另外,第4章介绍的决策树和第7章介绍的朴素贝叶斯分类器本身可以很好地解决多分类问题);也就是说从3.4节后半部分就开始介绍多分类任务了,因此实际可将3.5节开头多分类任务的开篇介绍提前一些~

        多分类任务一般可以通过3.5节的转换方法解决,一般来说算法效率和精度都还很好,例如著明的LIBSVM中实现多分类时并没有直接实现多类支持向量机算法,而是使用OvO将多分类转换为多个二分类后再解决的。[Hsu, Chih-Wei, and Chih-Jen Lin. "A comparison of methods for multiclass support vector machines." IEEE transactions on Neural Networks 13.2 (2002): 415-425.]则给出实验结论,“OvO更适合实际中使用”。总之,直接解决多分类任务还是一个相对比较困难的问题,但很多场景并不需要直接解决,只要解决就可以了~

        3.6节的介绍的类别不平衡问题确实现实生活中很常见的实际问题,而且西瓜书作者在这方面也有一些该领域代表性的研究成果;注意该节提到的SMOTE算法,比较常用~

        梳理一下本章结构:3.1节引言,3.2节、3.3节、3.4节三种线性模型,3.5节、3.6节两类特别的分类问题。

(网盘链接:https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w) 

 

第3章目录:
第3章线性模型.............................................................................................................................1
    3.1 基本形式............................................................................................................................1
    3.2 线性回归............................................................................................................................1
             1、离散属性连续化问题.................................................................................................1
             2、式(3.4)的解释............................................................................................................1
             3、式(3.7)的推导............................................................................................................2
             4、式(3.15)的解释..........................................................................................................3
    3.3 对数几率回归....................................................................................................................3
             1、式(3.19)的推导..........................................................................................................3
             2、式(3.20)和式(3.21)的解释.........................................................................................3
             3、式(3.23)和式(3.24)的推导.........................................................................................4
             4、式(3.25)的解释..........................................................................................................4
             5、式(3.26)的推导..........................................................................................................4
             6、式(3.27)的推导..........................................................................................................4
             7、式(3.29)的解释..........................................................................................................6
             8、式(3.30)的推导..........................................................................................................6
             9、式(3.31)的推导..........................................................................................................7
    3.4 线性判别分析.....................................................................................................................8
             1、式(3.36)的推导..........................................................................................................8
             2、式(3.37)的推导..........................................................................................................8
             3、式(3.38)的推导..........................................................................................................8
             4、式(3.39)的推导..........................................................................................................9
             5、式(3.40)的解释..........................................................................................................9
             6、式(3.43)的推导..........................................................................................................9
             7、式(3.44)的解释........................................................................................................10
             8、式(3.45)的推导[?]....................................................................................................10
    3.5 多分类学习.......................................................................................................................11
             1、图3.4的解释.............................................................................................................11
             2、图3.5的解释.............................................................................................................11
             3、ECOC编码长度的解释.............................................................................................11
    3.6 类别不平衡问题................................................................................................................12
             1、式(3.48)的推导.........................................................................................................12
    3.7 本章小节...........................................................................................................................12

 

你可能感兴趣的:(机器学习(Machine,Learning))