机器学习 第3章 线性模型 (3.1&3.2)

3.1 基本形式

线性模型试图学得一个通过属性的线性组合来进行预测的函数
f ( x ) = w 1 x 1 + w 2 x 2 + . . . + w d x d + b f(x) =w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b f(x)=w1x1+w2x2+...+wdxd+b
向量形式为
f ( x ) = w T x + b f(x)=w^{T}x+b f(x)=wTx+b
其中 w = ( w 1 ; w 2 ; . . . ; w d ) . w=(w_{1};w_{2};...;w_{d}). w=(w1;w2;...;wd). w w w b b b学得之后,模型得以确定

优点:形式简单,易于建模,有良好的可解释性

3.2 线性回归

线性回归试图学得
f ( x i ) = w x i + b f(x_{i})=wx_{i}+b f(xi)=wxi+b使得
f ( x i ) ≈ y i f(x_{i})\approx y_{i} f(xi)yi
均方误差是回归任务中常用的性能度量,我们试图让均方误差最小化,即
( w ∗ , b ∗ ) = a r g m i n w , b = ∑ i = 0 n ( f ( x i ) − y i ) 2 (w^{*},b^{*})=arg min_{w,b}=\sum_{i=0}^n(f(x_{i})-y_{i})^{2} (w,b)=argminw,b=i=0n(f(xi)yi)2
= a r g m i n w , b = ∑ i = 0 n ( y i − w x i − b ) 2 =arg min_{w,b}=\sum_{i=0}^n(y_{i}-wx_{i}-b)^{2} =argminw,b=i=0n(yiwxib)2
均方误差的几何意义对应了欧几里得距离,利用均方误差进行模型求解的方法叫做最小二乘法。在线性回归中最小二乘法就是试图找到一条直线,使所有样本到直线上的欧式距离之和最小。
求解参数 w w w b b b的过程叫做线性回归最小二乘参数估计。求解参数 w w w b b b的过程本质上是一个多元函数求最值(点)的问题。更具体点是凸函数求最值的问题。
求解出
w = ∑ i = 1 m y i ( x i − x ‾ ) ∑ i = 1 m x i 2 − 1 m ( ∑ i = 1 m x i ) 2 w=\frac{\sum_{i=1}^my_{i}(x_{i}-\overline{x})}{\sum_{i=1}^mx_{i}^{2}-\frac{1}{m}(\sum_{i=1}^mx_{i})^{2}} w=i=1mxi2m1(i=1mxi)2i=1myi(xix)
b = 1 m ∑ i = 1 m ( y i − w x i ) b=\frac{1}{m}\sum_{i=1}^m(y_{i}-wx_{i}) b=m1i=1m(yiwxi)

你可能感兴趣的:(机器学习,机器学习,算法,概率论)