吴恩达机器学习打卡day3

本系列文档按课程视频的章节（P+第几集）进行分类，记录了学习时的一些知识点，方便自己复习。

课程视频P22

图1 表示使用了不同次数的变量在此情形下，若要使用梯度下降法，则需要先对数据进行特征缩放，不然没有可操作性。

图1            

图2 使用不同的函数来代表房价预测曲线。

图2  

课程视频P23——正规方程

图3 形象的展示了梯度下降法求解代价函数最小值到最后的情况，对于普通的一元二次函数，通过求导、令式子等于0，求解出$\theta$值，就得到函数达到最小值时的横坐标，也就是函数图像切线为0时的横坐标。
同理，当存在$j$个未知数$\theta$时，通过分别对${\theta }_1...{\theta }_j$求偏导，并使每个式子都等于0，当满足以上所以式子解出的${\theta }_1...{\theta }_j$就是使代价函数达到最小值时的横坐标。

图3  

图4 表示了将多元一次方程组转换成矩阵的写法，用矩阵的方式，直接使用红框里的公式即可求解出最优值$\theta$。（不证，直接使用即可，以后有机会再加更证明过程。）

图4  

图5 是图4 内容的升级版，表示有$n+1$个变量（$x_0...x_{n+1}$），每个变量有$m$个数据时表示成矩阵的方法；实际上等同于由m个方程组成的方程组，每个方程有着$n+1$个变量，将其表示为矩阵形式。

课程视频P24

图5  

** 用下列公式即可通过矩阵解出$\theta$值，但是步骤中需要求逆矩阵($Inv$)，根据线性代数，总所周知有的矩阵是求不出逆矩阵的，因此可通过求伪逆矩阵($Pinv$)来近似获得逆矩阵值。**

图6  

** 图7 当出现矩阵不可逆时，我们通常可以通过剔除某些特征数据的方式，从而使矩阵变得可逆，或者直接使用图6 所介绍的正规化（regularization）方程，也就是伪逆矩阵($Pinv$)来近似获得逆矩阵值。**

图7  

课程视频P25~P30

讲述了如何使用OCTAVE语言来进行一些数学计算尤其是矩阵的运算。因为DL等相关内容很多都是在python上完成的，因此，我才同许多学习这门的同学一样，采用python语言来进行课程内容的学习，在我学完本门课程后，我会将自己用python完成的课程作业打包放到我的github上。
 

课程视频P31——矢量

图8 展示了对于两个变量相乘再求和的形式可以有两种编程方法，一种就是老老实实将两个变量相乘再求和；另一种就是采用向量点乘的方法，只需一行代码，即可实现让两个向量的元素对应相乘再相加，有着省时省力的优点。

图8  

图9 表示了将梯度下降的公式用向量表示的方法，如图所示有3个式子(${\theta }_0...{\theta }_2$)表示的方程组，将其表示为$\theta =\theta -\alpha \delta$，其中$\delta$就是$\frac{1}{m}...$这一大坨，$\frac{1}{m}$是个常数不同管它，后面求和的部分就和图8 展示的过程一样，表示为一个常数项乘以一个$x_i$项，再将每一项的积相加，用向量点乘的方法即可轻松实现。
由此，这三个式子就被我们轻松拿捏了。

图9  

未完待续…