03 回归算法 - 线性回归求解 θ（最小二乘求解）

回顾线性回归的公式：θ是系数，X是特征，h(x) 是预测值。
h(x) = θ₀ + θ₁x₁ + θ₂x₂ + … + θ_nx_n
h(x) = Σ θ_ix_i（ i=0~n ）
h(x) = θ^TX = [θ₁,θ₂,θ₃,…,θ_n] * [x₁,x₂,x₃,…,x_n]^T
最终要求是计算出θ的值，并选择最优的θ值构成算法公式，使预测值能够尽可能接近真实值。

求解线性回归的思路

线性回归主要用到两种方法：最大似然估计、最小二乘法。两种思路截然不同，但最终得到的结果是一致的。

1、02 回归算法 - 线性回归求解 θ（最大似然估计求解）

2、最小二乘求解

损失函数：

最小二乘

在公式中，x和y都是已知的。现在未知的是θ。

转为矩阵

θ求解的推导过程

下面给出一个例子，房屋面积和房间数量是样本X，租赁价格是实际值Y，我们需要求出θ：

例子

θ=(X^TX)^-1X^TY

在求解的过程中，矩阵的逆是求解的难点。