吴恩达机器学习笔记_第一周

毕业论文方向可能和神经网络挂钩，神经网络也是机器学习的一部分。从这周开始决定跟着Andrew Ng公开课系统地学习机器学习，4/4日开课，第一周为试听，今天先看了。以后每周更新一下。的确感觉讲的不错，形式平易近人。

//分割线----------------------------------------------------------------------------------------------

机器学习概念：

the field of study thatgives computers the ability to learn without being explicitly programmed

 

监督学习

Supervised Learning:

Right answers given（训练集）

 

回归：Regression (continuous 预测输出无限集)

分类：Classification (discrete 预测输出有限集)

 

无监督学习

Unsupervised Learning:

只给出数据集——need to be cluster and discovered

 

单变量线性回归

预测房价的例子，肿瘤的例子。

一些常用符号约定

 

h(x) = theta0 + theta1*x

线性回归：linear regression

 

代价函数：Cost Function

以单变量线性回归为例，让代价函数最小化，即minimized每个点的误差平方和，再取平均再乘二分之一（只是为了数学上方便）。——squared error function 平方误差代价函数，最常用。

 

结合图形理解参数对代价函数取值的理解，如线性回归两个参数，代价函数为三维图像（相当于两个字自变量，一个因变量，比如碗形）。 为方便，轮廓图描述（像等高线）。

 

梯度下降法：Gradient descent最小化代价函数

 

公式如上。算法很常用，不仅在线性回归上，

注意一点就是多参数必须做到同时更新（非常适合并行）。如果非同时更新，可能结果也对所以不会注意到，但是会有微小的不同。

如果学习率太小，下降的慢，迭代次数多。

如果太大，可能无法收敛甚至发散（一步太大）。

容易达到局部最低点（和初始值有关），此时导数为0，会停止下降。当接近最低点时，步长会自动变小，因此没有必要减少学习率，固定即可。

 

梯度下降法结合线性回归：把求导式子结合代价函数展开

 

由于线性回归的代价函数都是凸函数（碗形），因此用梯度下降法都能得到全局最优。

 

批量梯度下降：batch 需要对所有样本的误差求和然后平均。