【机器学习-西瓜书】-第1章-绪论-学习笔记

1.1 引言

什么是机器学习?

  • 本质
    • 利用经验来改善系统自身的性能
      • 经验,通常以“数据"形式存在
  • 定义
    • 从数据中产生"模型"的算法,即"学习算法"

计算机科学与机器学习之间的区别

  • 计算机科学:研究关于"算法"的学问
  • 机器学习:研究关于”学习算法"的学问

(个人理解为,机器学习更与数据相联系,需结合具体数据,也就是要考虑数据的特点)

补充

模型

  • 本书中泛指从数据中学得的结果
  • 其他
    • 全局性结果(例如一棵决策树)
    • “模式":局部性结果(例如一条规则)

1.2 基本术语

术语 解释 页码
示例/样本/特征向量 一个事件或对象的描述/-/在属性空间的坐标向量 2
属性/特征 反映或对象在某方面的表现或性质的事项 2
属性值 属性上的取值 2
属性空间/样本空间/输入空间 属性张成的空间 2
学习/训练 从数据中学得模型的过程 2
训练数据,训练集,训练样本(训练示例/训练例) 训练过程使用数据的相关术语 2
测试 使用学得的模型进行预测的过程 2
测试样本/测试示例/测试例 被预测的样本 2
假设 学得模型对应关于数据的某种“潜在"规律 2
真相/真实 潜在规律自身 2
模型/学习器 学习算法在给定数据和参数空间上的实例化 2
泛化 学得模型适用于新样本的能力 2

有时”样本"会指代一个数据集,需根据上下文语义判断

数据集包含 m m m的示例,示例的属性为 d d d维的形式化描述

D = { x 1 , x 2 , … , x m } x i = ( x i 1 ; x i 2 ; … ; x i d ) D=\left\{\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{m}\right\}\\ \boldsymbol{x}_{i}=\left(x_{i 1} ; x_{i 2} ; \ldots ; x_{i d}\right) D={x1,x2,,xm}xi=(xi1;xi2;;xid)

术语 解释 页码
样例 拥有标记信息的示例 3
标记空间/输出空间 所有标记的集合 3
样本空间 假设样本空间中全体样本服从一个位置分布 D D D,同时每个样本独立同分布 3
i . i . d . i.i.d. i.i.d. 独立同分布,independent and identically distributed 3
假设空间 数据潜在规律所在空间 5
版本空间 基于有限样本训练集进行时,与训练集一致假设空间 5

学习任务的分类

  • 根据训练数据是否拥有标记信息
    • 监督学习
    • 无监督学习
术语 解释 页码 学习任务类别
分类 预测的值为离散值 3 监督学习
二分类 具有正类和负类,两个类别 3 监督学习
多分类 涉及多个类别 3 监督学习
回归 预测值为连续值 3 监督学习
聚类 将训练集中的数据分成若干组 3 无监督学习
聚类中每组称为一个簇(cluster) 3 无监督学习

1.3 假设空间

归纳v.s.演绎

科学推理的两大基本手段

归纳 演绎
induction deduction
特殊到一般的"泛化"过程 一般到特殊的"特化"过程
具体的事实归结出一般性规律 基础原理推演出具体状况

归纳学习

“从样本中学习"是一个归纳的过程,因此也被称为"归纳学习"

  • 狭义和广义之间的区别
    • 广义归纳学习
      • 从样例中学习
    • 狭义归纳学习
      • 从训练数据中学得概念
        • 也称为"概念学习"/“概念形成”
      • 得到泛化性能好且语义明确的概念很困难

学习过程的理解

  • 看做在所有假设组成的空间中进行搜索的过程
  • 搜索目标
    • 找到与训练集匹配的假设
  • 搜索策略
    • 自顶向下,从一般到特殊
    • 自底向上,从特殊到一般

参考资料

[1]周志华. 《机器学习》[J]. 中国民商, 2016, 03(No.21):93-93.

你可能感兴趣的:(机器学习,机器学习,学习,人工智能)