机器学习笔记3.线性模型----教材周志华西瓜书

线性模型形式简单易于建模。

3.1 基本形式

问题条件属性X=(x1;x2;....;xd)---向量，线性模型试图学得一个通过属性的线性组合来进行预测的函数

即：f(X)=w1x1+w2+x2+....+wdxd+b 向量型式：f(X)=w^T*X+b

w和b学得之后，模型就得以确定了。

3.2 线性回归（所有点到一条直线的距离最短）

给定数据集D=｛(X1,y1),(X2,y2),...,(Xm,ym)｝  其中Xi = (xi1;xi2;....;xid); yi为实数

线性回归就是学得一个线性模型以尽可能准确的预测实值输出标记

要点：用向量来实现离散数据的连续化

线性回归试图学得  f(xi)=w*xi+b,使得f(xi) ≈ yi

3.3 对数几率回归

3.4 线性判断分析

3.5 多分类学习

3.6 类别不平衡