机器学习-西瓜书-第一章阅读笔记+公式推导

1.1 引言

• 机器学习：一门致力于研究如何通过计算的手段，利用经验来改善系统自身性能的一门学科。
• 主要研究内容：关于在计算机上从数据中产生“模型”的算法，即**“学习算法”**。

1.2 基本术语

• 数据的一条记录
• 数据集
• 示例/样本sample
• 属性/特征
• 属性空间/样本空间/输入空间
• 特征向量
• 学习/训练：从数据中学得模型的过程，这个过程通过执行某个学习算法来完成
• 训练数据
• 训练样本
• 训练集
• 假设：学得模型对应了关于数据的某种潜在的规律
• 真相/真实ground-truth：这种潜在规律本身，学习过程就是为了找出或逼近真相
• 模型/学习器：可看作学习算法在给定数据和参数空间上的实例化
• 标记label：
• 样例example：拥有了标记信息的示例
• 标记空间/输出空间
• 分类：预测的是离散值
• 回归：预测的是连续值
• 二分类、正类、负类、多分类
• 测试、测试样本
• 聚类、簇
• 监督学习、无监督学习：根据训练数据是否拥有标记信息
• 机器学习的目标：使学得的模型泛化能力强

1.3 假设空间

• 归纳：从特殊到一般的“泛化”过程，从具体的事实归结出一般性规律
• 演绎：从一般到特殊的”特化“过程，从基础原理推演出具体状况
• 从样例总学习是归纳过程，也称为归纳学习
• 广义的归纳学习大体相当于从样例中学习，狭义的归纳学习则要求从训练数据中学得概念
• 把学习过程看一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集”匹配“的假设，即能够将训练集中的瓜判断正确的假设
  
• 对假设空间的搜索策略：许多，例如自顶向下、从一般到特殊，或是自底向上、从特殊到一般
• 版本空间：存在着一个与训练集一直的”假设集合“
  

1.4 归纳偏好

• 归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”；

• 任何一个有效的机器学习算法必有其偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。
  

• NFL No Free Lunch Theorem
  
  

• NFL定理寓意：脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义
  

1.5 发展历程

• 推理期：二十世纪五十年代到七十年代初

• 知识期：二十世纪七十年代中期开始，大量专家系统问世

• 机器自己能够学习：二十世纪八十年代

  • 从样例中学习之一主流：符号注意学习，包括决策树和基于逻辑的学习，由于表示能力太强，直接导师学习过程面临的假设空间太大、复杂度极高，因此，问题规模稍大就难以有效进行学习，九十年代中期后这方面的研究相对陷入低潮。
  • 从样例中学习之一主流：基于神经网络的连接注意学习，黑箱模型，从知识获取的角度来看，连接初一学习技术有明显弱点。
    

• 统计学习：代表性技术支持向量机以及更一般的核方法
  

• 深度学习
  

1.6 应用现状