吴恩达机器学习笔记

线性回归方程

为了解决实际生活中的问题，我们通常需要一个数学模型。比如，小明有一个房子（他想卖掉房子），为了知道房子的价格，小明收集了该地区近两年的房屋交易价格，他发现房屋价格与房屋大小呈正相关，所以他画了了一幅图

小明的房屋大小用红色的×代替。可见和小明房屋一样大小的房子并不存在，而类似的房屋价格又有很大差别，如此小明决定用一个数学函数来呈现该地区不同房屋大小的价格趋势。这就是拟合。
小明决定选择一次函数来拟合数据，。
就是预测的房屋价格，X则是给定的房屋大小，而则是拟合函数的重要参数。
如今，我们为了求出拟合函数的确定表达式，必须要求出两个参数θ的值。那么，我们定义成本函数（代价函数）

我们先来解释为什么成本函数为什么是这个样子。
先从目的出发，如果我们的拟合函数达到了最优拟合（对于给定的房屋大小，返回无误差的房屋价格），那么成本函数的值为0，对不对？
也就是说拟合函数的预测值和实际结果值越接近，那么成本函数就要越小。
那么这样，我们也可以选择其他的成本函数，比如对数函数等，这里我们选择了均方差作为成本函数。

这时候有人就会问，均方差可没有乘1/2，你m前面的2，哪来的？
这里的1/2主要是为了在以后求导的时候消去系数，乘与不乘对我们的成本函数本身没有影响，但是为了简便运算，我们乘上1/2。

回到刚才的目的：为了求得拟合函数的确定表达式。
那么我们的目的现在转变为：当取得最小值的时候，两个θ的值为多少？

现在介绍两种算法：
一、梯度下降
，这个是标准公式，但在我们的拟合函数中，用的其实是下面这两个：

我们先把公式简化，然后在讨论：
1. 这个公式为什么会有用。
2. 为什么选择这个公式。
，首先，我们的1/2不见了，伏笔回收get√，其次相信大家能够看懂这个求偏导公式（是一个复合函数求导）。
那么我们现在的梯度下降公式就成了：，好现在我们讨论这个公式为什么会有效果，也就是为什么能使，收敛于最小值。
，我们来看这个图（先只讨论θ1，也就是y = θ1 * x，只有一个参数，看看梯度下降如何使用），当θ1在蓝×的时候我们的偏导数就是负的，θ1 = θ1 - 负数，那么θ1应该增大，下一次跑到了灰色×，继续。重复多次后，收敛于红色×。
这是一个θ，我们两个θ，图形应该是一个3D的山这个是https://www.cnblogs.com/pinard/p/5970503.html博客里面的图，我也懒得在去老师视频里截图了。通过这张图我们也可以看到，梯度下降会收敛于局部最小值，而不一定收敛到全局最小值（所以我们应该使成本函数，成为一个凸函数，形状和只有θ1的图一样）。
当我们有多个参数时，我们应该一次更新所有的参数，而不是算出来第一个θ，然后把新的值带入到下一个公式。
说完梯度下降我们来看一下第二个方法。

2.标准方程
，这里面的θ和X和y都是一个矩阵。
用这个公式就可以求得最合适的参数值矩阵。