《机器学习》第三章——线性模型（线性回归）

1.基本形式

线性模型形式简单、易于建模，蕴含机器学习中的一些基本思想；

许多功能强大的非线性模型可在线性模型的基础上通过引入层级机构或高维映射而得；

例如

 b 可认为是固有的属性。

2.线性回归

简单线性回归 视图学得一个线性模型以尽可能准确地预测实值输出标记；

关键在于 f(x)与y 之间的差别，均方误差是回归任务中最常用的性能度量，因此可试图让均方误差 最小化，

即

典型的最小二乘法问题：最小化误差的平方；

求解w和b使最小化的过程，称为线性回归模型的最小二乘 “参数估计” 

可分别对 w 和 b 求导，得到

令上式为0，则可求得w和b

    

其中为 x 的均值

3.对数几率回归

4.线性判别分析

5.多分类学习

6.类别不平衡问题