吴恩达机器学习笔记【课时二】

课时2-1 模型描述

训练样本标记含义：

训练集通过学习算法输出假设函数，假设函数能够对于输入的x输出相应的y

课时2-2 代价函数

如何选择假设函数的参数呢？
通过最小化代价函数：

课时2-3 代价函数（一）

简化了一下：

假设函数和代价函数的关系图示：

课时2-4 代价函数（二）

上一节只有一个参数，所以假设函数和代价函数的图示简单，比如下图：

如果是两个参数，则代价函数的图为下图所示：

可以用二维等高线来表示上图：

对于难以可视化的图可用软件求得极值

课时2-5 梯度下降

梯度下降过程：

梯度下降图示：

梯度下降法背后数学原理：

同步更新

课时2-6 梯度下降知识点总结

来说明学习率和导数乘起来为什么对学习是有用的

数学知识：导数含义，一点点地挪动x坐标

学习率过大过小的情形：（无法迭代）

假如代价函数已经到最低点了那么它该向哪个方向移动？答案是不动，因为导数为0

当接近局部最低点时，实际上步子也会越来越小，因为导数也会越来越小，即使学习率不变：

课时2-7 线性回归的梯度下降

梯度下降在线性回归的应用，就是具体算算导数写一下式子：

算一下导数：

于是就把梯度下降的式子改写成：

梯度下降有可能进入局部最优，但是线性回归的代价函数一般都是弓形的所以能收敛到全局最优