机器学习(1)-线性回归

对于给定的维度为d的特征x=(x₁,x₂...x_d)，建立线性模型y=w₁x₁+w₂x₂...w_dx_d+b。给予m对的样本X，Y。其中实际结果为Y=(y₁,y₂...y_m)^T，属性为矩阵X=(x₁^T,x₂^T...x_m^T)^T,如下,其中矩阵中最后一行为1是与偏移量b相乘。

特征属性

建立线性模型，则设定每个属性对应的权值w=(w₁,w₂...w_d,b)^T,那预测值Y'可以表示为：

权重

预测值

那么得出预测值与样本真实值对比，得到均方误差：

均方误差

由式子可见，调整各个权重w的值可以使得预测均方误差最小，求上式最小值，即需要求导，对矩阵求导可参考维基百科Matrix calculus中表格公式，最后得到结果如下：

求导

当X^TX为满秩矩阵时，上式取零则得到最优解：

解

下面以一组简单一维特征样本实验(x,y)=(1,1.1), (2,1.9), (3,3.1), (4,3.9)得到拟合直线如下图：

拟合直线

程序如下：

import matplotlib.pyplot as plt
import numpy as np
x = np.matrix([[2,1],[2,1],[3,1],[4,1]])
y = np.matrix([1.1,1.9,3.1,3.9]).T
w = ((x.T*x).I * x.T) *y
plt.figure(1)
plt.plot((x[:,0]),y,'x')
Xr=np.linspace(0,5,101)
Yr=w[0,0]*Xr+w[1,0]
plt.plot(Xr,Yr)

参考：

通过一个例子快速上手矩阵求导
Matrix calculus
周志华 机器学习 清华大学出版社 2017