周志华《机器学习》笔记（一）——对机器学习的初步认识

1、机器学习的定义

（1）Tom Mitshell：计算机程序在任务T上的性能指标P，随经验E的增加而提高。

（2）个人理解：用学习算法从数据中产生模型，并对模型进行应用的一类方法。如下图所示：

上帝真相（Ground Truth）：数据中隐含的理想映射关系（f: x->y)。有多理想，无论是在训练集还是新样本上，都能够完美的反映由x到y的关系。可惜只有上帝知道，我们都不知道，但我们都想要，于是就有了假设集合和模型。

模型（Model）：学习算法从数据中归纳出的一种映射关系(g: x->y)。机器学习的目的就是学习一个映射g来逼近上帝真相f。

假设集合（Hypothesis Set）：对模型一般形式的假设。模型需要先有假设的一般形式，然后通过学习算法确定模型参数后，才有具体的模型。例如，首先假设线性模型y=wx+b，学习算法确定模型为w=1,b=0参数后，才能得到最终模型y=x。

2、机器学习的分类

有监督学习：用已标记的训练数据来训练模型，如分类、回归。

无监督学习：用未标记的训练数据来训练模型，如聚类、降维。

半监督学习：用大量未标记训练数据和少量已标记数据来训练模型。

强化学习：智能体通过与环境交互，学习最优决策序列的机器学习方法。

3、机器学习的过程

数据和特征工程决定机器学习算法的上限，通过算法得到的模型在于逼近这个上限。

4、机器学习的一些思想

（1）“没有免费午餐”定理（No Free Lunch Theorem，NFL）：对于所有问题，没有放之四海而皆准的最好算法；但对于具体问题，算法能够分出优劣。

（2）奥卡姆剃刀（Occam’s razor）：即大道至简，只要能解决问题，模型复杂度越小越好。