《机器学习（西瓜书）》——线性模型

1.线性回归

如果只有一个输入属性x，则，使用最小二乘法求解模型最优解即可。

如果有多个输入属性，，当X时满秩矩阵或者正定矩阵矩阵时，有解析解.

对数线性回归：，形式线性回归，是输入空间到输出空间的非线性映射

2.对数几率回归——分类任务

对数几率函数：

用极大似然法估计w和b的值

3.线性判别分析LDA

给定训练样例集，将样例投影到一条直线上，使同类样例投影点尽可能靠近，异类样例投影点尽可能远离。

用拉格朗日对偶问题求解，具体过程不再赘述

当两类数据同先验、满足高斯分布且协方差相等时，达到最优分类。