西瓜书第一章笔记

本章从如何挑选西瓜的经验出发，介绍了本书所涉及基本术语和概念。

数据集、样本、特征（属性）、特征空间（属性空间、样本空间、输入空间）、特征向量、维数；

学习（训练）、训练数据、训练样本、假设、预测、标记、样例、标记空间（输出空间）、测试、测试样本；

分类、回归、聚类、簇、监督、无监督、泛化能力；

归纳、演绎、概念学习、假设空间、版本空间；

归纳偏好（偏好）、奥卡姆剃刀；

 

 

同时简要介绍了机器学习的发展史。

符号主义、连接主义、机器学习、数据挖掘、统计学；

 

 

"奥卡姆剃刀" (Occam's razor)是一种常用的、自然科学

研究中最基本的原则，即"若有多个假设与观察一致，则选最简单的那个"

 

这就是"没有免费的午餐"定理(No Free Lunch Theorem，简称NFL

https://github.com/PnYuan/Machine-Learning_ZhouZhihua/tree/master/ch1_introduction [Wolpert, 1996; Wolpert and Macready, 1995].

 

假设空间：机器学习中可能的函数构成的空间称为“假设空间”，监督学习（supervised learning）的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间(hypothesis space)。假设空间的确定意味着学习范围的确定。

 

 

归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好。

通俗的讲就是“什么模型更好“这么一个问题。