《机器学习》笔记：第三章线性模型（Python代码实现）未完成

3.1 基本形式

给定由$d$个属性描述的示例$x=(x_1;x_2;\cdots ;x_d)$，其中$x_i$是$x$在第$i$个属性上的取值，线性模型通过属性间的线性组合进行预测：
$$f(x)={\omega }_1{x}_1+{\omega }_2{x}_2+\cdots +{\omega }_d{x}_d+b$$
也可以用向量形式写成：
$$f(x)={\omega }^{T}x+b$$
其中$\omega =({\omega }_1;{\omega }_2;\cdots ;{\omega }_d)$，只要确定$\omega$和$b$,即可确定模型。

另外也可以用矩阵的形式表示：
$$X=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& \cdots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_d^T& 1\end{array}\right),W=\left(\begin{array}{ccccc}{\omega }_1& {\omega }_2& \cdots & {\omega }_d& b\end{array}\right)$$
则
$$f(x)=X{W}^{\prime }=\left(\begin{array}{c}{\omega }_1{x}_{11}+{\omega }_2{x}_{12}+\cdots +{\omega }_d{x}_{1d}+b\\ {\omega }_1{x}_{21}+{\omega }_2{x}_{22}+\cdots +{\omega }_d{x}_{2d}+b\\ ⋮\\ {\omega }_1{x}_{m1}+{\omega }_2{x}_{m2}+\cdots +{\omega }_d{x}_{md}+b\end{array}\right)$$

由于系数$\omega$可以描述属性的重要程度，所以利用线性模型可以建立一个解释性很好的预测模型。

3.2 线性回归

属性类型	处理方式
连续型	不做处理
离散型	有序则按序赋值
离散型	无序则"One-Hot"编码处理

线性回归的目的是，令
$$f(x_i)=\omega x_i+b$$同时$$f(x_i)\approx y_i$$
于是，只需要让$f(x_i)$与$y_i|$之间的差最小化即可，这里选择均方差作为性能指标（目标函数），即：
$$({\omega }^{\ast },b^{\ast })=\underset{(\omega ,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2=\underset{(\omega ,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-\omega x_i-b{)}^2$$
直接对上式求导，即可得到$\omega$和$x_i$的求解公式。

$$\omega =\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-\omega x_i)$$
当然上式也可以写成矩阵的形式：
令$\hat{\omega }=(\omega ,b)$,$y=y_1,y_2,\cdots ,y_m$,则：
$${\hat{\omega }}^{\ast }=\underset{\hat{\omega }}{\mathrm{argmin}}(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$$.

同样的求导可得：
$${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
$$f({\hat{x}}_i)={\hat{x}}_i^T(X^{T}X{)}^{-1}{X}^{T}y$$
当$X^{T}X$满秩时可以求出唯一解，否则可以求出多组解，一般通过正则化的方式选择。

# 加载包
import numpy as np 
import matplotlib.pyplot as plt 
np.random.seed(123) 

class LinearRegression:
    def weighted_hat(self,X,Y):
        self.bias =np.ones(len(X))
        X=np.c_[X,self.bias]
        self.weight = np.dot(np.dot(np.linalg.inv(np.dot(X.T,X)),X.T),Y)#权重及截距公式
        self.bias = self.weight[-1]
        self.weight=self.weight[0:-1]
        return self.weight,self.bias
    def predict(self,x):
        return np.dot(x,self.weight)+self.bias

x=2*np.random.rand(500,3)#随机生成一个0-2之间的，大小为（500，1）的向量
y=5+3*x+np.random.randn(500,1)#随机生成一个线性方程的，大小为（500，1）的向量
fig=plt.figure(figsize=(8,6))#确定画布大小
plt.scatter(x,y)#设置为散点图
plt.title("Dataset")#标题名
plt.xlabel("First feature")#x轴的标题
plt.ylabel("Second feature")#y轴的标题
plt.show()#绘制出来

LR = LinearRegression()
weight,bia = LR.weighted_hat(x,y)
y_hat = LR.predict(x)

fig=plt.figure(figsize=(8,6))#设置画布大小
plt.scatter(x,y)#绘制训练集的散点图
plt.scatter(x,y_hat)#绘制测试集的散点图，注意这里的y_p_test是正态之后的测试集的y
plt.xlabel("First feature")#x轴的标题
plt.ylabel("Second feature")#y轴的标题
plt.show()#显示