吴恩达 Machine Learning_Week 1 学习笔记

1 引言

1.1机器学习的定义

机器学习程序指的是该程序被认为能从经验E中学习，进而解决任务T，并达到性能度量值P，当且仅当，有了经验E之后，经过P评判，程序在处理T时的性能有所提升。

1.2监督学习

监督学习数据集中的每个样本都有相应的“正确答案”，我们根据这些样本做出预测。常见的应用有回归问题和分类问题。

1.2无监督学习

无监督学习数据集中的样本没有所谓的标签或是所以样本的标签相同，即我们并未提前告知程序有关该数据集的任何信息，例如有哪些结构，可以分成几类等，而是让程序自动对该数据集的样本进行结构分类。常见的应用有聚类分析。

2 单变量线性回归

2.1Model Representation

$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$

2.2Cost Function

$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

2.3Gradient Descent

Gradient Descent一般用来求函数最小值，在此我们用此方法来求Cost Function $J({\theta }_0,{\theta }_1)$的最小值。该算法公式为：
$repeatuntilconvergence:$
$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$$
为了便于更简单直观地理解该算法，可以想象我们正站在山上的某一点寻找一条最合适的路径下山，下山这一过程可以理解为寻找函数的最小值，即梯度下降算法的目标。
在该算法中，$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$可以理解为下山的方向，我们通过计算该微分得到梯度下降程度最大的方向；$\alpha$称为学习速率，可以理解为下山的步长，我们重复这一步骤，直到找到一个最低点，即函数的局部最小值。

Attention:

1. 梯度下降算法中要保证所有的 $\theta$ 同时更新。
2. $\alpha$过小，函数收敛速度会很慢，$\alpha$过大，函数可能无法收敛，甚至发散。

2.4Gradient Descent For Linear Regression

$Repeat:$
$$\begin{gathered} {\theta }_0={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}) \\ {\theta }_1={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})\ast x^{(i)}) \end{gathered}$$