回归-线性回归

1.简介

回归是指预测的输出值为连续的实值; 线性是说预测函数是属性的线性组合.

f(x)=wTx+b(1)

线性模型(linear model)简单, 易于建模, 但却蕴含着机器学习的重要思想.由于 w 直观地表达了各属性在预测中的重要性, 所以线性模型有着很好的可解释性(comprehensibility).

2. 公式推导

均方误差, square loss, 是回归任务中最常用的性能度量. 它有着很好的几何意义, 因为对应的是常用的欧几里得距离.

基于均方误差最小化进行模型求解的方法称为最小二乘法, least square method.

所以, 用 w∗,b∗分别表示模型中w,b的解 ,则

(w∗,b∗)=argminw,b∑[yi−(wTxi+b)]2(2)

记

E(w,b)=∑i=1m[yi−(wTxi+b)]2(3)

先考虑最简单的情形, x⃗  向量的属性个数只有一个,那么分别对w和b进行求导(机器学习西瓜版Page-54):

∇wE(w,b)=2(w∑i=1mx2i−∑i=1m(yi−b)xi)(3.1)

∇bE(w,b)=2(mb−∑i=1m(yi−wi))(3.2)

然后令(3.1)式与(3.2)式为零可得到w和b最优解的闭式(closed-form)解

w=∑mi=1yi(xi−x¯)∑mi=1x2i−1m(∑mi=1xi)2(3.3)

b=1m∑i=1m(yi−wxi)(3.4)