机器学习算法 | 最小二乘法
目录
一、矩阵的基础知识点
二、矩阵的求导
三、投影矩阵
四、最小二乘法
五、应用（糖尿病数据集）
一、矩阵的基础知识点
1.矩阵与向量
矩阵n*n 例如： 
3x2（row x column) 
其中：
=1
向量n*1 例如：
nx1 其中：
2.矩阵x向量=向量
x 
=
过程：1x(-40)+1000x0.25=x1
1x(-40)+2000x0.25=x2(x3，x4同理）
3.矩阵x矩阵=矩阵
A（mxn) x B (nxo) = C (mxo)
x 
= 
过程：1x(-40)+1000x0.25=a11
1x(-40)+2000x0.25=a21(a31,a41同理）
1x200+1000x0.1=a12
1x200+2000x0.1=a22(a32,a42同理）
相当于分别求矩阵B的列，再合并
4.乘法规律
交换律x 即：AxB ≠ BxA
结合律√ 即：(AxB)xC = Ax(BxC)
5.单位矩阵I（
）
即斜对角线为1，其余为0
AxI=IxA=A
6.逆矩阵
A为方阵（n*n）
7.转置
从第一个向右下45°画一条线，然后翻转
二、矩阵的求导
1.本质
矩阵A中的每一个元素对矩阵B中的每一个元素求导
2.求导技巧
①标量不变，向量拉伸
②前面横向拉，后面纵向拉
3.两个求导公式
3.1 
3.2
4.细节补充
4.1两种布局
4.1.1
分母布局→YX拉伸术
分子布局→XY拉伸术
4.1.2区别在于求导后元素排列不同
4.1.3通常：分母布局的转置=分子布局
4.2矩阵求导的乘法与加法公式
4.2.1乘法公式
4.2.2加法公式
三、投影矩阵
1.为什么需要投影
因为Ax=b可能无解，因为Ax一定是在x的列空间中，可是b不一定
解决方法就是找到b在Ax的投影，寻找最接近的解
（p为b的投影）
2.一维
投影 
投影矩阵
3.n维
4.性质
4.1用任何向量b乘以这个矩阵都回到他的列空间
C(P)投影矩阵P的列空间=通过a的线
rank(P)=1
4.2对称
4.3投影两次不变
四、最小二乘法
1.公式推导
2.几何意义
2.1最优直线
2.2投影矩阵的理解
五、应用（糖尿病数据集）
1.前期
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
# 导包获取糖尿病数据集
from sklearn.datasets import load_diabetes
data_diabetes = load_diabetes()
data = data_diabetes['data']
target = data_diabetes['target']
feature_names = data_diabetes['feature_names']
df = pd.DataFrame(data,columns=feature_names)
df.head()
df.info() 
2.手写算法
#手动切分数据集
x_train=df.iloc[0:354]
y_train=pd.DataFrame(target,columns=['target']).iloc[0:354]
x_test=df.iloc[354:]
y_test=pd.DataFrame(target,columns=['target']).iloc[354:]
#最小二乘法
def LRegression(X,Y):
#w=(XT*X)^(-1)* XT*Y
XTX=np.dot(X.T,X)
if np.linalg.det(XTX)==0:
print('This matrix cannot be inverse')
return
w=np.dot(np.linalg.inv(XTX),np.dot(X.T,Y))
return w
LRegression(x_train,y_train)
运行结果：
array([[ 54.70255153],
[ -272.72206257],
[ 442.16760619],
[ 343.83905862],
[-1200.00662612],
[ 765.10258764],
[ 348.05832353],
[ 363.51975937],
[ 857.37409665],
[ 22.50417733]])3.sklearn的效果对比
def sk_LRegression(data,target):
#抽取训练集&测试集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.2)
#建立模型
from sklearn.linear_model import LinearRegression
model = LinearRegression()
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
model.fit(x_train,y_train)
w_array = model.coef_ #返回每一维的权重值
b=model.intercept_ #截距
#评估模型
print(model.score(x_train,y_train))
print(w_array)
print(b)
return
sk_LRegression(data,target)
运行结果：
0.5091774777893477
[ -60.06160915 -166.61973713 533.0275304 327.96835194 -931.41769066
562.91257525 172.56818713 147.88826342 829.50104026 22.6835442 ]
152.8837928410518