机器学习学习笔记（二）

线性模型

给定 d 个属性描述的示例 x=(x1,x2,…,xd)T ，其中 xi 是 x 在第 i 个属性上的取值，线性模型试图学习一个通过属性的线性组合来进行预测的函数，即

f(x)=w1x1+w2x2+…+wdxd+b

一般用向量形式写成

f(x)=wTx+b

其中 w=(w1,w2…,wd)T ，学得 w 和 b 后，模型就得以确定。
优点：线性模型具有形式简单、易于建模和很好的可解释性。
常见线性模型：线性回归模型，logistic回归模型等。

线性回归

给定数据集 D={(x1,y1),(x2,y2),…,(xm,ym)} ，其中 xi=(xi1,xi2,…,xid)T,yi∈R ，线性回归目标是学习一个线性模型

f(xi)=wTxi+b

以尽可能准确预测实值输出标记。
记

w^=(wT,b)T,X=⎡⎣⎢⎢⎢⎢⎢x11x21⋮xm1x12x22⋮xm2⋯⋯⋱⋯x1dx2d⋮xmd11⋮1⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢xT1xT2⋮xTm11⋮1⎤⎦⎥⎥⎥⎥⎥

故

f(X)=Xw^

将输出标记写为向量形式 y=(y1,y2,…,ym)T ，利用利用均方误差（square loss）作为性能度量，通过使均方误差最小化求解参数值。即

w^∗=argmin(w,b)∑i=1m(y−f(xi))2=argminw^(y−Xw^)T(y−Xw^)

若要求式子 Ew^=(y−Xw^)T(y−Xw^) 的最小值，需要对 w^ 向量的每一个元素求导；即对 w^ 求导得到：

∂Ew^∂w^=2XT(Xw^−y)

令上式为0可得 w^ 最优解的闭式解，当 XTX 为满秩矩阵或正定矩阵时，得到

w^∗=(XTX)−1XTy

令 x^i=(xi1,xi2,…,xid,1)=(xTi,1) 则最终学得的多元线性回归模型为：

f(x^i)=x^i(XTX)−1XTy

当 XTX 不 为满秩矩阵或正定矩阵时，如每条数据中的属性数多于样例数，此时 X 的列数多于行数， XTX 显然不是满秩矩阵，可以解出多个 w^ ，都能使均方误差最小化，具体选择哪一个 w^ 由学习算法的归纳偏好决定，常见做法是引入正则化项。