本篇文章将分享Coursera上Andrew Ng的Machine Learning第二周的课程,主要内容有如下,详细内容可以参考文末附件:
因为本课程涉及到在Octave或者Matlab提交作业,所以这一节讲了在各种不同的系统中如何安装Octave或者Matlab。安装比较简单,就不在此赘述。需要注意的有如下几点,如有其他疑问可私信或邮件讨论:
上周课程主要针对的是单变量的线性回归问题,但往往实际问题并不仅仅有一个相关的变量,所以引入了多变量的线性回归问题。多变量问题中,表示变量数量,[Math Processing Error]表示第[Math Processing Error]个训练样本,[Math Processing Error]则表示第[Math Processing Error]个训练样本中第[Math Processing Error]个变量的值。此时线性回归问题假设变成如下形式:
[Math Processing Error]
其中[Math Processing Error]是常数项,因此可以设为1。转化为向量后,
[Math Processing Error]
代价函数可以相应的变为:
[Math Processing Error]
梯度下降中参数更新可以写成向量的形式:
[Math Processing Error]
因为各变量的取值范围会存在较大的差异,然而学习速度对于所有变量都是一致的,即不能取得太大以防止不收敛,又不能取得太小使收敛速度过慢,所以需要将变量取值范围进行统一(Feature Scaling),使各变量取值范围尽量在-1到1之间,同时,也尽量避免过于集中在[Math Processing Error]甚至更小的区间内。通常采用mean normalization的方式,即:
[Math Processing Error]
有时需要使用多项式来拟合回归,且可以采用不同的方式。如课程中的例子,训练数据中价格与面积明显存在着非线性的关系,但用面积的二次方去拟合时,会出现达到一定面积后价格反而下降的现象,这在现实生活中几乎是不存在的。因此,可以添加面积的三次方项,或者平方根项来改变该情况,使价格一直随面积的增长而增长。当变量之间存在一定关系时,如变量1为面积,变量2为面积的平方时,相应的变量取值范围也要除以各自的取值范围,如课程中Andrew举的例子那样,除以面积范围,面积范围的平方,以及面积范围的3次方。
还总结了学习速率[Math Processing Error]取值的问题,要确保每一次迭代[Math Processing Error]的值都在不断减小,可以预先定义如果迭代一次的下降差值在10e-3的范围内,就认为成本函数已经收敛并停止迭代。如果[Math Processing Error]的值在上下波动或者不断增大,则说明[Math Processing Error]取值过大,可以适当降低学习速率。
梯度下降是求解线性回归中一种比较直观的解法,但同时,对于参数[Math Processing Error]的求解也存在解析方法。以一维中最简单的线性回归成本函数为例,[Math Processing Error],在坐标轴中呈现为倒U型曲线,那么必然在[Math Processing Error]处可取得成本函数的最小值,那么解得上式中[Math Processing Error]的值就可以得到其全局最小值。
同样,将该方法推广到多变量的线性回归问题时,[Math Processing Error]可解如下公式求得:
[Math Processing Error]
课程中给出了房价的例子及解析解公式如下,但并未给出具体的推导过程:
[Math Processing Error]
以及相应的Octave命令:
pinv(X’*X)*X’*y
最后简单总结了梯度下降及解析算法的优缺点,其中比较重要我认为有两点:
Andrew从以下方面介绍了Octave的一些基本命令,有兴趣的同学可以跟着课程视频都做一遍并完成课程作业:
附本次分享演示文档:ML-Coursera-Week2