机器学习 第3章 线性模型 (3.1&3.2)

3.1 基本形式

线性模型试图学得一个通过属性的线性组合来进行预测的函数
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
向量形式为
$$f(x)=w^{T}x+b$$
其中$w=(w_1;w_2;...;w_d).$ $w$和$b$学得之后，模型得以确定

优点：形式简单，易于建模，有良好的可解释性

3.2 线性回归

线性回归试图学得
$$f(x_i)=w{x}_i+b$$使得
$$f(x_i)\approx y_i$$
均方误差是回归任务中常用的性能度量，我们试图让均方误差最小化，即
$$(w^{\ast },b^{\ast })=argmi{n}_{w,b}=\sum _{i=0}^n(f(x_i)-y_i{)}^2$$
$$=argmi{n}_{w,b}=\sum _{i=0}^n(y_i-w{x}_i-b{)}^2$$
均方误差的几何意义对应了欧几里得距离，利用均方误差进行模型求解的方法叫做最小二乘法。在线性回归中最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。
求解参数$w$和$b$的过程叫做线性回归最小二乘参数估计。求解参数$w$和$b$的过程本质上是一个多元函数求最值（点）的问题。更具体点是凸函数求最值的问题。
求解出
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$