【机器学习-西瓜书】-第1章-绪论-学习笔记

1.1 引言

什么是机器学习？

• 本质
  • 利用经验来改善系统自身的性能
    • 经验，通常以“数据"形式存在
• 定义
  • 从数据中产生"模型"的算法，即"学习算法"

计算机科学与机器学习之间的区别

• 计算机科学：研究关于"算法"的学问
• 机器学习：研究关于”学习算法"的学问

(个人理解为，机器学习更与数据相联系，需结合具体数据，也就是要考虑数据的特点)

补充

模型

• 本书中泛指从数据中学得的结果
• 其他
  • 全局性结果(例如一棵决策树)
  • “模式"：局部性结果(例如一条规则)

1.2 基本术语

术语	解释	页码
示例/样本/特征向量	一个事件或对象的描述/-/在属性空间的坐标向量	2
属性/特征	反映或对象在某方面的表现或性质的事项	2
属性值	属性上的取值	2
属性空间/样本空间/输入空间	属性张成的空间	2
学习/训练	从数据中学得模型的过程	2
训练数据，训练集，训练样本（训练示例/训练例）	训练过程使用数据的相关术语	2
测试	使用学得的模型进行预测的过程	2
测试样本/测试示例/测试例	被预测的样本	2
假设	学得模型对应关于数据的某种“潜在"规律	2
真相/真实	潜在规律自身	2
模型/学习器	学习算法在给定数据和参数空间上的实例化	2
泛化	学得模型适用于新样本的能力	2

有时”样本"会指代一个数据集，需根据上下文语义判断

数据集包含$m$的示例，示例的属性为$d$维的形式化描述：

$$\begin{gathered} D=\left\{{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_m\right\} \\ {\mathbf{x}}_i=\left(x_{i1};x_{i2};\dots ;x_{id}\right) \end{gathered}$$

术语	解释	页码
样例	拥有标记信息的示例	3
标记空间/输出空间	所有标记的集合	3
样本空间	假设样本空间中全体样本服从一个位置分布$D$,同时每个样本独立同分布	3
$i.i.d.$	独立同分布,independent and identically distributed	3
假设空间	数据潜在规律所在空间	5
版本空间	基于有限样本训练集进行时，与训练集一致假设空间	5

学习任务的分类

• 根据训练数据是否拥有标记信息
  • 监督学习
  • 无监督学习

术语	解释	页码	学习任务类别
分类	预测的值为离散值	3	监督学习
二分类	具有正类和负类，两个类别	3	监督学习
多分类	涉及多个类别	3	监督学习
回归	预测值为连续值	3	监督学习
聚类	将训练集中的数据分成若干组	3	无监督学习
簇	聚类中每组称为一个簇（cluster）	3	无监督学习

1.3 假设空间

归纳v.s.演绎

科学推理的两大基本手段

归纳	演绎
induction	deduction
特殊到一般的"泛化"过程	一般到特殊的"特化"过程
具体的事实归结出一般性规律	基础原理推演出具体状况

归纳学习

“从样本中学习"是一个归纳的过程，因此也被称为"归纳学习"

• 狭义和广义之间的区别
  • 广义归纳学习
    • 从样例中学习
  • 狭义归纳学习
    • 从训练数据中学得概念
      • 也称为"概念学习"/“概念形成”
    • 得到泛化性能好且语义明确的概念很困难

学习过程的理解

• 看做在所有假设组成的空间中进行搜索的过程
• 搜索目标
  • 找到与训练集匹配的假设
• 搜索策略
  • 自顶向下，从一般到特殊
  • 自底向上，从特殊到一般

参考资料

[1]周志华. 《机器学习》[J]. 中国民商, 2016, 03(No.21):93-93.