最小二乘法原理及Matlab代码实现

不完全整理，只是用来自己看的笔记。

一、一些问题

1. 最小二乘法，预测值与真实值之间的距离和最小，原理即最小均方差。

2. 为什么要平方？

• 平方不分正负，可以表示距离
• 平方相当于一种加权

 

二、计算步骤

1. 计算输入序列均值
2. 计算x的方差及x,y的协方差（协方差反映了变量x,y的变化趋势是否相同）
3. 计算斜率与截距 

三、Matlab代码实现

function [a, b] = LeastSquaresFitting(X,Y)
%最小二乘法拟合直线
%   输入：拟合数据X，Y
%   输出：y=ax+b
if (length(X) ~= length(Y))
    error('Length of input vectors must be equal.');
end
    

%% 第一步：分别求x,y均值
x_avg = sum(X(:))/length(X);
y_avg = sum(Y(:))/length(Y);

%% 第二步：求x,y协方差和x的方差
xy_cov = 0;
x_var = 0;
for i = 1:length(X)
   xy_cov = xy_cov + (X(i)-x_avg)*(Y(i)-y_avg);
   x_var = x_var + (X(i)-x_avg)^2;
end

%% 第三步：求斜率a与截距b
a = xy_cov/x_var;
b = y_avg - a*x_avg;

end