机器学习03：线性回归与多分类学习

作者：非妃是公主
专栏：《机器学习》
个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩

专栏地址

《机器学习》专栏地址

专栏系列文章

机器学习01：绪论

机器学习02：模型评估

机器学习03：线性回归与多分类学习

机器学习04：支持向量机

机器学习05：神经网络学习

机器学习06：决策树学习

机器学习07：贝叶斯学习

机器学习08：最近邻学习

机器学习09：无监督学习

机器学习10：集成学习

机器学习11：代价敏感学习

机器学习12：演化学习

线性回归

提及线性学习，我们首先会想到线性回归。回归跟分类的区别在于要预测的目标函数是连续值。
给定由m个属性描述的样本 ，其中是$x_i$在第$i$个属性上的取值，线性回归（linear regression）试图学得一个通过属性值的线性组合来进行预测的函数：
$$f(x)={\omega }_1{x}_1+{\omega }_2{x}_2+\dots +{\omega }_m{x}_m+b$$
一般用向量的形式写成：
$$f(x)={\omega }^{T}x+b$$
其中 $\omega =({\omega }_1,{\omega }_2,...,{\omega }_m)$


对$w$和$b$分别求偏导，取最小化均方误差的最小值即可。

若$w$是多维的，则$x$也取多维即可。

广义线性回归

线性回归假定输入空间到输出空间的函数映射成线性关系，但现实应用中，很多问题都是非线性的。为拓展其应用场景，我们可以将线性回归的预测值
做一个非线性的函数变化去逼近真实值，这样得到的模型统称为广义线性回归 (generalized linear regression) ：

其中$g(\cdot )$称为联系函数（link function）

说明：求解主要利用反函数思想，将非线性函数转化为线性函数。

logistic回归

逻辑斯蒂回归有很多优点：
1）可以直接对分类可能性进行预测，将y视为样本x作为正例的概率；
2）无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；3）是任意阶可导的凸函数，可直接应用现有数值优化算法求取最优解。
求解：利用极大似然估计，将问题转化为优化问题，求偏导取得最大值即可。

多分类学习

一对一

一对一拆分示例：

一对其余

多对多