机器学习之西瓜书+南瓜书：第一章

第一章 绪论

第一章对机器学习的专业术语和发展历程做了概述，下面主要罗列了第一章中的术语和解释。

1.1 引言

经验：数据
模型（model）：从数据中学得的结果，指全局性结果。
模式：局部性结果

1.2 基本术语

数据集（data set）：记录的集合
示例（instance）：即样本（sample）每条记录是关于一个事件或对象的描述。
属性（attribute）：即特征（feature），反映事件或对象在某方面的表现或性质的事项
属性空间（attribute space）：即样本空间或输入空间，属性张成的空间
特征向量（feature vector）：在样本空间中每个点对应的每个坐标向量
分类任务（classification）：预测值为离散值
回归任务（regression）：预测值为连续值
监督学习（supervised learning）：训练数据拥有标记信息，包括分类和回归任务
无监督学习（unsupervised learning）：训练数据集没有标记信息，包括聚类等
泛化能力（generalizaton）：学得模型适用于新样本的能力

1.3 假设空间

归纳（induction）：从特殊到一般
演绎（deduction）：从一般到特殊
假设空间（hypothesis）：即罗列出训练集中的所有可能情况并进行搜索

1.4 归纳偏好

归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好
奥卡姆剃刀（Occam’s razor）：若有多个假设与观察一致，则选择最简单的那个
“没有免费的午餐”定义（No Free Lunch Theorem,NFL）：不同算法的期望性能相同，需要根据具体问题具体分析

1.5 发展历程

二十世纪五十年代：基于神经网络的“连接主义”（connectionism）出现
二十世纪六七十年代：基于逻辑表示的“符号主义”（symbolism）学习技术蓬勃发展
二十世纪八十年代：机器学习成为一个独立的学科领域
二十世纪九十年代中期：统计学习成为机器学习主流
二十一世纪初：以“深度学习”为代表的连接主义学习卷土重来

1.6 应用现状