周志华机器学习笔记（一）

新人一枚，既是机器学习的初学者，也是首次发博客。谨以此记录我的学习体会，做一些总结。望与大家共同学习、共同进步。文中若有内容错误或有措词不严谨之处，望大家不吝指出。谢谢！

机器学习中的基本概念

基本术语

根据上图我们可以用一个三维空间来了解以下几个基本术语。

属性与属性值：属性反映事件或对象在某方面的表现或性质的事项，在此图表示为轴x1,x2,x3。即表示某个对象有3个属性。属性值就表现为在轴x1,x2,x3上可能的取值。

属性空间：由这三个属性张成的三维空间称为属性空间，亦称为样本空间或输入空间。

特征向量：空间中的每个点对应一个坐标向量，如图中A、B、C点。一个示例（没有标记信息的样本）也称之为一个“特征向量”。

训练集：训练过程中使用的数据称为“训练数据”，其中每个样本称为一个”训练样本”，训练样本组成的集合称为“训练集”。

测试样本：学得模型后，使用其测试的过程称之为“测试”，被预测的样本称为“样本测试”。

假设空间

将学习的过程看作一个在所有假设组成的空间中进行搜索的过程，搜索的目标是找到能够将训练集判断正确的假设。那么什么是假设空间呢？

假设空间的大小是由属性值所确定的，即每个属性的可能取值（包括为空）构成了整个假设空间。我们在假设空间中进行搜索，最终搜索到与训练集一致的假设就是我们学习的结果。

版本空间：在假设空间中存在着一个或者多个假设与训练集一致。这样一个或多个假设构成的集合我们称之为“版本空间”。