最小二乘拟合

最小二乘的hypothesis为：
其中表示第个样本，表示的第个特征。
最小二乘的目标函数为：

我们可以通过使沿着其梯度方向进行更新来最小化目标函数。
目标函数对的导数为：

注意：每一个都是一个包含多个维度的向量
对进行更新可得：

注意：这里我们使用表示赋值的意思，即在每一次迭代的时候，将新的计算得到的赋值给之前的。

---

最小二乘拟合的概率解释
在这里，来表示hypothesis的计算结果，表示真实的样本的target value,假设

即hypothesiss与真实样本之间的偏差服从标准正太分布：

进一步推导可得：

因为样本的标签值是已知的，所以由上式可得：

个样本的似然函数为：

对似然函数取对数可得：

其中，最大化对数似然函数，即：

即从假设hypothesis的值与样本真实值之间的偏差服从标准正太分布，并使用最大似然估计，我们同样可以得到均方误差的目标函数。

references:
http://cs229.stanford.edu/notes/cs229-notes1.pdf