Mitchell机器学习-基于实例的学习

1. 简介

• 消极学习方法
  • 不是根据样本建立一般化的目标函数并确定其参数，而是简单地把训练样例存储起来，直到需要分类新的实例时才分析其与所存储样例的关系，据此确定新实例的目标函数值。
• 最近邻法与局部加权回归法
  • 根据邻近的样例对新实例分类
• 径向基函数/核函数法
  • 介于局部加权回归和神经网络之间的方法
• 基于案例的推理
  • 使用符号表示的基于知识的推理方法

2. k-近邻算法

• 选出距离新实例最近的k个样例，包含上述k个样例中个数最多的类别
• 距离加权最近邻算法
• 讨论
  • 取k近邻而不是最近邻，可以消除孤立的噪声实例的影响
  • 归纳偏置：一个实例的分类与在欧式空间中它附近的实例的分类相似
  • 维度灾难：如何消除不相干属性的影响（降维、加权）

3. 局部加权回归

• 思想：对新查询实例临时建立一个拟合环绕该实例领域内样例的逼近函数，用该函数计算新实例的目标值输出
• 算法
  • 目标函数值的近似（线性回归）

• • 误差

• • 训练法则

• 改进

4. 径向基函数

• 核估计

• 径向基函数
  • 思想：用核函数的线性组合逼近目标
  • 目标函数

通常采用高斯核函数

• • 径向基函数网络的训练
    • 定义核函数：通常选高斯核函数，注意反映了带宽
    • 确定核的个数
      • 所有训练样例均为核
      • 选取有代表性的点作为核
        • 均匀分布
        • 随机抽取一个子集
        • 聚类中心
    • 训练权值

5. 基于案例的学习

• 基本思想：直接根据以前的案例而不是泛化的知识来求解新问题
• 基于案例的学习是类比学习方法的一种，包括基于案例的推理、基于案例的规划和基于案例的问题求解。
• 基于案例的推理
  • 基于案例的推理可从三方面提高系统的性能
    • 以前成功的决策可用于新问题的求解
    • 以前的失败在求解新问题时可用来避免错误
    • 如果从以前的案例中提取出抽象的策略可增强一般化的知识
• 基于成功案例的推理
  • 给出以前案例中达到同样目标的解
  • 给出以前案例达到同样目标的解并根据当前案例与以前案例的区别对解修改
  • 给出达到同样目标的推理方法
  • 根据新旧两个案例的相同点建立问题的抽象描述，将其扩充以符合原案例的解，并将其应用到新案例以得到新的解
    
• 基于失败案例的推理
  

1. 1. 确定导致原案例失败的原因
   2. 对新案例直接推理并注意与原先案例中导致失败的类似的决策点
   3. 检查新案例中是否存在潜在的同样的失败
   4. 如果没有潜在的失败，继续原先的推理过程
   5. 否则，去除原先的错误决策将其作为新案例推理的一种建议
   6. 如果第2步中的决策发生改变，重新决策并返回到中断处继续推理
      

6. 消极学习与积极学习

• 比较
  • 消极学习将从训练数据泛化的计算延迟到查询新的案例时才进行，训练时计算少，预测时计算多。
  • 积极学习必须建立全局的假设以覆盖整个实例空间，消极学习可以使用多个不同的局部假设形成对目标函数的全局逼近。
    
• 消极学习方法
  • k-近邻算法
  • 局部加权回归
  • 基于案例的推理
    
• 积极学习方法
  
  • Find-S算法
  • 候选消除算法
  • 决策树方法
  • 人工神经网络
  • 贝叶斯方法
• 径向基函数
  • 以训练样例（或代表点）为中心的局部逼近方法，不是以查询点为中心，是一种特殊的积极学习方法。
• 优缺点
  • 优点：
    • 用局部目标函数逼近复杂的全局目标
  • 缺点：
    • 分类新实例开销大
    • 维度效应——“相似”不一定“相近”