回归

回归的概念

1. 给定一个点集， 利用一条曲线去拟合之。
2. 如果是直线， 就是线性回归。
3. 如果是一条二次曲线， 就被称为二次回归。
4. 变种， locally weight回归， logistic回归

房屋的例子

假设房价仅和面积相关， 我们可以根据给定的点集拟合出一个函数：

h(x) = a0 + a1 * x1 + a2 * x2

也可以用向量的方法表示。

我们需要一个机制去评价参数a是否合适， 一般称之为loss function。如下是一个损失函数：

J(a) = 0.5 * sum((h_a(x^i) - yⁱ⁾2

就是最小化估计值和真实值的差的平方和。

参数的选取

最小二乘法

梯度下降法

1. 对参数a赋值， 这个值可以是随机的， 也可以是一个全0的向量。
2. 改变a的值， 使得J(a)按照梯度下降的方向进行减少。
3. 直到下降到无法再下降为止。
   当然， 可能实际上是陷入了一个局部最小点而不是全局最小点。