吴恩达机器学习--学习笔记：单变量线性回归

第二章：单变量线性回归

本章主要通过单变量线性回归算法的例子，阐述了机器学习的原理了，以及算法实现过程；其中涉及的概念有：假设函数 、代价函数、目标函数、梯度下降等概念；本章以房屋价格问题为案例，进行学习；再次明确下我们的算法目的：找到一个函数，能够很好的计算出房价与面积的关系；按照机器学习的定义：这里的任务T是根据面积计算房价，经验E是已知的样本数据-房价与面积，性能测定P是计算结果与真实价格的差值，差值越小，算法给出的结果越可靠；

这里说明下下文将会用到的几个符号：

 表示房屋面积, 表示第i个样本的面积；

表示房屋的真实价格；表示第i个样本的真实价格

表示样本容量，即，有个样本；

和是两个参数；

假设函数 ：

人为假定的一个，用于准确描述问题函数；本章中是根据样本在平面图中的分布假设了一个一元一次函数，即：

代价函数 ：

根据P，我们对算法的判定依据是和差值，那么，这里给出一个衡量此差值的应函数  ;它表示所有样本的预测结果，与真实价格，差值的平方的平均数再二分之一后的值(个人理解 1/2 是为了让结果 不那么大，让最终的目标函数公式更美观)； 

优化目标：

我们的优化目标是寻求最合适的，使得假设函数给出的结果更靠靠谱； 得到了代价函数后目标就转为求一组  的值使得  的值最小；记作：

 

梯度下降法：

梯度下降法是实现的一种常用手段，的模型往往是凹凸不平的曲面；梯度下降法就是从某一起始位置（给定一个初值），沿下坡方向一步一步前进（改变的值），直至最低点（最小处）；公式如下： ，这其中j取1和2，α对应梯度下降法中每次下降的步伐（偏导数项也在起作用），偏导数项决定方向方向，确保每次调整都是向下的

备注：

1、实际操作时和要同时更新

2、单变量一次线性回归的代价函数总是凹函数，即只存在一个全局解；

视频截图参考：

简化到一个参数的模型

两个参数的模型

 

​​有两个参数的代价函数模型

非线性回归的代价函数模型

梯度下降法的完整公式