吴恩达机器学习笔记（第二章）

2.Linear regression with one variable

2-1Model representation

标记：

m：训练样本数

x：输入

y：输出

(x,y)： 一个训练样本

第i个训练样本

 

 

用训练样本和学习算法得出假设函数h（hypothesis）

如右图用直线表达的h是线性回归模型（Linear regression）

2-2 Cost function

 

目标是找出θ 0,1使得代价函数J最小

这个代价函数被叫做平方误差代价函数（square error cost function）

一个参数时损失函数是二维曲线，两个参数是，损失函数是三维曲面

用等高线图（contour plots）代替曲面图表示损失函数，椭圆中心为损失函数最小的点

 

2-3 Gradient decent

可以将代价函数最小化的梯度下降法

梯度下降算法根据选取初始点的不同可能有多个局部最优解

线性回归是凸函数，与上图不同，即只有一个全局最优解 

"batch" gradient decent "batch":each step of gradient descent uses all training examples(损失函数J由所有样本作差相加算得)