机器学习公开课笔记(2)：多元线性回归

多元线性回归

一元线性回归只有一个特征$x$，而多元线性回归可以有多个特征$x1, x2, \ldots, x_n$

假设 (Hypothesis)：$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$

参数 (Parameters)：$\theta_0, \theta_1, \ldots, \theta_n$

代价函数 (Cost function)：$J(\theta_0, \theta_1, \ldots, \theta_n)=\frac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2$

目标 (Goal)：$\min_\theta J(\theta)$

梯度下降 (Gradient Descent)

迭代更新参数$\theta$: $\theta_j = \theta_j - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$   for $j = 0, 1, 2, \ldots, n$

向量化实现 (Vectorized Implementation)：$\theta = \theta - \alpha \frac{1}{m}(X^T(X\theta-y))$

Feature Scaling

动机：如果不同特征之间的数值量级差别太大，那么梯度下降的速度非常慢，为了加快算法的收敛速度，将各个特征划归到统一数量级，一般是[0, 1]或者[-1, 1]之间

Trick1: $x_j = \frac{x_j - \mu_j}{s_j}$, 其中 $\mu_j$表示第j个特征的均值, $s_j$表示第j个特征的范围(max - min)或者标准差(standard deviation)

Trick2: 学习速率的选择

• 合理的选择学习速率，保证$J(\theta)$的值在每一次迭代后都是下降的;
• 如果$J(\theta)$随迭代次数单调递增或者$J(\theta)$随迭代次数成波浪形(例如: \/\/\/\/\/\/), 这时候应该考虑选择较小的$\alpha$; 但是$\alpha$太小会导致收敛速度过慢
• 为了正确的选择 $\alpha$，尝试序列 0.001, 0.01, 0.1, 1等

Normal Equation的数学推导

解析推导过程:
$$J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^{m}\left(h_\theta(x^{x(i)})-y^{(i)}\right)$$
可以简化写成向量的形式:
$$J(\theta)=\frac{1}{2m}||X\theta-y||^2=\frac{1}{2m}(X\theta-y)^T(X\theta-y)$$
展开可得:
$$J(\theta)=\frac{1}{2m}[\theta^TX^TX\theta-y^TX\theta-\theta^TX^Ty+y^Ty]$$ 注意到$y^TX\theta$是一个标量，因此它与其转置$\theta^TX^Ty$是相等的，即中间两项是相等的，从而$J(\theta)$可以进一步化简为:
$$J(\theta) = \frac{1}{2m}[X^TX\theta-2\theta^TX^Ty+y^Ty]$$
对向量的求导与单变量的求导法则有诸多不同，这里不加证明给出如下两个重要的向量求导结论（具体可参照向量矩阵求导）
\begin{equation}d(X^TAX)/dX = (dX^T/dX)AX + (d(AX)^T/dX)X = AX + A^TX \end{equation}
\begin{equation}d(X^TA)/dX = (dX^T/dX)A + (dA/dX)X^T = IA + 0X^T = A\end{equation}
根据结论(1), 第一项的求导结果为$X^TX\theta+X^TX\theta=2X^TX\theta$； 根据结论(2)，第二项的求导结果为$-2x^Ty$；第三项不含$\theta$，求导结果当然为0，整合三项我们可以得到$J(\theta)$的导数$\frac{dJ(\theta)}{d\theta}$,
$$\frac{dJ(\theta)}{d\theta}=\frac{1}{2m}(2X^TX\theta-2X^Ty)$$
令该导数等于0，我们很容易得到
$$\theta=(X^X)^{-1}X^Ty$$
这就是使得代价函数$J(\theta)$取得最小值对应的$\theta$。

梯度下降和Normal Equation优劣对比

Gradient Descent	Normal Equation
需要选择合适的$\alpha$	不需要选择$\alpha$
需要不断的迭代	不需要迭代
当特征非常多时(n非常大)，算法依然表现良好	当n非常大时，计算速度非常慢，因为需要计算$(X^TX)^{-1}$复杂度为$O(n^3)$

参考文献

[1] Andrew Ng Coursera 公开课第二周