[置顶] Machine Learning Week1 学习笔记

机器学习有很多方面的应用，例如数据挖掘、邮件过滤、AI人工智能等方面。

首先介绍 有监督学习，举了几个简单的例子，从房价预测提到了 回归（连续值）的概念，从癌症分类提到了 分类（离散值）的概念。

接着介绍 无监督学习，举了 一个简单例子提出了 聚类的概念。有很广泛的应用：Google News聚类，商业中市场顾客聚类、基因中等。详细的讲了Cocktail Party Problem。两个人同时说话，用同一个录音器录音，将各自的声音从里面区分开来。用聚类的方法就可以做到，且只用了一行Matlab代码，从而体现了Octave和Matlab作为机器学习和原型开发的方便，大大提高了我们的学习效率和开发效率。

下面从预测房价这一具体事例出发，提出了 Hypothesis Function 和 Cost Function的概念。

本例中，采用的是最简单的线性回归：

其中Cost Function是均方差。取1/2是因为在后面对其求导数时会产生2从而消掉1/2，方便后面的运算。

为了求得合适的参数，最终就转化为了一个 最优化的问题。

首先提到解决这个最优化问题的方法是梯度下降法。Andrew Ng以游人下山这个形象的比喻来讲解，十分容易理解。

梯度下降法的思想如下：

（1）选取任意一个初始点

（2）调整初始点的位置，调整的方向为其梯度方向，也就是下降最快的方向

（3）重复步骤二，直至函数收敛

算法如下：

alpha是学习速度，其越大代表每次参数值变化越大，反之则变化越小；当其过大时，有可能导致参数最终难以收敛甚至发散；而当其过小时，则会收敛的很慢，每次参数变化太小。

同时，需要注意的是 j=0和j=1需要同时更新。

并且可以发现alpha（学习速率）可以在整个收敛过程中保持不变而不用减小，因为随着迭代，微分项 越来越小，从而也能使最终在接近最优点时参数值变化较小。

将梯度下降法应用到线性回归中，可以得到：