机器学习历程——人工智能基础与应用导论（3）（线性模型）

一、线性模型(linear model)

试图学得一个通过属性的线性组合来进行预测的函数

二、一元线性回归（Linear regression）

 

分别对w、b求导：

令导数为 0, 得到闭式(closed-form)解：

三、多元线性回归(multi-variate Linear Regression)

 同样采用最小二乘法求解，有

四、对数线性回归 (log-linear regression)

五、线性模型的变化

 六、广义线性模型(generalized linear model)

 

 七、二分类任务

 

八、对率回归(logistic regression)

九、极大似然估计

 估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布。

求解思路

 

十、线性判别的思想

训练时：设法将训练样本投影到一条直线上，使得同类样本投影点尽可能近，异类样本点的投影点尽可能的远。

预测时：将预测样本投影到学到的直线上，根据投影位置判定类别。