机器学习（四）——最小二乘（Least squares）

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

借助矩阵导数的工具，现在让我们继续以封闭的形式找到的值，使得最小化。我们从用矩阵向量表示法重写开始。

给定一个训练集，设计矩阵为矩阵，(实际上是，如果我们包括拦截项)，其中每一行为训练样本的输入值：

另外，让是包含训练集中所有目标值的m维向量：

现在，由于，我们可以很容易的证明：

因此，利用一个向量的的性质，即，我们有

下面给出一些矩阵之间的关系，不做证明：

最后，为了最小化J，让我们找出它与有关的导数。结合方程(2)和(3)，我们发现

因此：

 

在上面推导过程的第三步中，我们用到了一个定理，即一个实数的迹是它本身；第四步用到了这个定理，最后一项不含求导时可舍去；第五步使用了等式 (5) ，令 ,和，以及等式 (1) 。为了最小化，我们令导数为0，就得到了它的 正规方程（normal equations） ：

 

因此，最小化的的闭式解（解析解）如下：

 

 

如何使用等式（5），下面给出了说明：