机器学习之矩阵最小二乘法的理解加应用

矩阵最小二乘法的推导原理

设：
得到：

涉及到矩阵求导
利用矩阵求导并利用上述定理，得到

在极值点处梯度值为零，得到
上述得到的方程组叫做正规方程组，那么最终可以得到最小二乘法的系数矩阵

根据系数矩阵再带入就可以得到预测的结果。

矩阵最小二乘法的matlab应用编程

%最小二乘法的矩阵应用
clear all;close all;clc;
x=[0 5 10 15 20 25 30 35 40 45 50 55];
y=[0 1.27 2.16 2.86 3.44 3.87 4.15 4.37 4.51 4.58 4.02 4.64]';
A=[];
for i=1:length(x)
    A(i,:)=[x(i) x(i)^2 x(i)^3];
end
 coefficient=pinv((A'*A))*A'*y;
y_coefficient=coefficient(1)*x+coefficient(2)*x.^2+coefficient(3)*x.^3;
plot(x,y','b.');
hold on
plot(x,y_coefficient,'r');