【周志华机器学习】绪论

机器学习的目标

机器学习致力于研究如何通过计算的手段，利用经验来玫善系统自身的性能。在计算机中，经验通常以数据形式存在，因此，机器学习研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。

基本术语

假定我们收集了一批关于西瓜的数据，例如(色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂:稍蜷;敲声=沉闷)， (色泽=浅自;根蒂 硬挺;敲声=清脆)，……，每对括号内是一条记录，“=”意思是"取值为"。
这组记录的集合称为一个数据集，其中每条记录是关于一个事件或对象的描述，称为一个 示例或样本。反映事件或对象在某方面的表现或性质的事项，例如“色泽”，称为属性或特征；属性取值例如“青绿”称为属性值；属性张成的空间称为属性空间或样本空间。我们把一个示例也称为一个特征向量。

从数据中学的模型的过程叫做学习或者训练，训练过程中使用的数据称为训练数据，其中每个样本称为训练样本，训练样本组成的集合叫做训练集。

分类：预测的是离散值
回归：预测的是连续值
聚类：将训练集的样本分成若干簇，在学习过程中使用的训练样本通常没有标记信息。

根据训练数据是否有标记信息将学习任务分为两大类
监督学习：分类和回归
无监督学习：聚类

泛化能力：学的模型适用于新样本的能力

我们假设样本空间中的全体样本服从一个未知的分布，获得的每个样本都是独立地从这个分布上采样获得的，即独立同分布。

假设空间

归纳：从特殊到一般的泛化
演绎：从一般到特殊的特化

归纳偏好

若模型对于同样的新样本会产生不同的结果，则学习算法的偏好会起到关键作用，例如尽可能特殊或者尽可能一般，这种称为归纳偏好。

“奥卡姆剃刀” (Occam’s razor) 是一种常用的、自然科学研究中最基本的原则，即"若有多个假设与观察一致，则选最简单的那个"如果采用这个原则，并且假设我们认为"更平滑"意味着"更简单" 。

脱离具体问题，空泛地谈论"什么学习算法更好"毫无意义，因为若考虑所有潜在的问题，所有学习算法都一样好。要谈论算法的相对优劣，必须要针对具体的学习问题；在某些问题上表现好的学习算法，在另一些问题上却可能不尽如人意，学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用.