【吴恩达机器学习】学习记录1：课程概论及相关基础概念（监督学习、非监督学习、损失函数、梯度下降法）

课程概论

1. 机器学习概念的简单介绍：
   机器学习是一种在对人工智能进行探索的过程中产生的新技术，它赋予了计算机新的能力，使其不仅仅是一个进行超级计算的工具。
2. 机器学习的应用：
   数据挖掘、人工无法完成的工作（自动驾驶直升机、手写识别、CV、NLP等）、个性化工程（Amazon、Netflix的产品推荐）、理解人类的学习过程（仿脑）

机器学习的定义

吴恩达教授列举出了两种关于机器学习的定义，一种是概括性的定义、一种是更加详细的定义。

• 定义1：机器学习是在无需特定程序的情况下赋予计算机学习能力的研究领域。
• 定义2：机器学习是一个完成学习的计算机程序，该程序被要求从关于任务T的经验E和一些结果度量P中进行学习。
  

监督学习

通过例子介绍了什么是监督学习，并给监督学习下了定义。

• 示例1：房价预测
  

• 示例2：乳腺癌判断
  

• 定义：
  监督学习即从一组给定真值的数据集中进行学习的算法。

非监督学习

数据集中不给定标签，通过非监督学习算法自动完成某一任务，常用的是聚类算法（谷歌同类新闻的聚类、关系网分析、市场细分）

模型表示

以房价预测为例，学习的过程即从一个训练数据集中通过学习算法找到一个最拟合的假设函数h，该函数h是输入量x（房子的大小）到输出量y（房价）的映射。

代价函数

代价函数通过计算训练集中所有样本的平均误差，来衡量预测值与实际值之间误差的大小，对于回归问题即寻找假设函数h最优的参数，以使得代价函数最小。吴恩达教授分别针对假设函数h为一个参数和两个参数的情况，说明了寻找代价函数最小值的意义，即代价函数值最小，所得曲线拟合程度越高。（讲的可以说是非常详细了，太太太适合小白了）

梯度下降法

在寻找使得代价函数最小的参数时，一般的流程是以某一起始参数值开始，不断改变参数值，直到找到我们期望的代价函数最小值。其中不断改变参数值的过程可以使用梯度下降的方式来更新参数，梯度下降法更新参数的方式如下：

注意，这里是对所有的参数同时进行更新。