吴恩达机器学习系列（二）——单一变量线性回归算法（上）

1 线性回归模型

回归算法是一种监督学习算法，用来建立自变量x和观测变量y之间的映射关系，如果观测变量是离散的，则称其为分类Classification；如果观测变量是连续的，则称其为回归Regression。
回归算法的目的是寻找假设函数hypothesis来最好的拟合给定的数据集。该回归模型如下图所示。

2 目标函数与代价函数

2.1 目标函数

1.定义

根据数据特征寻找合适的假设函数hθ(x)来最好的拟合给定的数据集，构造该目标函数对应的代价函数（Cost Function）J(θ0,θ1),并求得最小损失函数，所得目标函数即为最优目标函数。

2.相关参数

1. m：训练样本的数目
2. x’s：输入变量
3. y’s：输出变量
4. (x,y)：一个样本

3.图示目标函数（便于理解）

例如为上面一组数据集“拟合”一个尽可能吻合数据特征的目标函数。

2.2 代价函数

1.代价函数的本质

代价函数的实质是一个平方差成本函数，即一个样本数据的输入值x通过目标函数hypothesis得到的hθ(x)值与样本输出值y的差的平方和的平均值（/2m）。

2.代价函数最小化

最优代价函数求解算法有梯度下降法BGD/SGD/MBGD迭代求θ以及方程对数极大似然偏导等于0直接求θ，即最小二乘法解析解直接求θ值。下一篇文章讲解的是第一种方法，即梯度下降法。

3 手动求解最小代价函数（最优目标函数）

为了便于理解，下面使用手动演示求解最小代价函数的方法。为了便于理解，简化演示，取θ0为0，即代价函数为J(0,θ1),。
目标函数hθ(x)与代价函数J(θ0,θ1)的图像对比如下图。

有上图右边图可知，在该数据集中，当θ1取1，θ0取0时，代价函数取得最小值，也即当θ1取1，θ0取0时目标函数为最优解。