机器学习 周志华 读书笔记

神经网络

  • 感知机:由两层神经元组成
  • 由于神经网络的层数比较少,因此学习能力比较有限
  • 如果线性的模式是可分的, 那么一定会收敛,否则会发生震荡
  • 多层前馈神经网络
    • 每一层与下一层连接
    • 同层不能连接
    • 不能跨层连接

BP神经网络

  • 比较容易遇到过拟合的状况
  • 解决方法是早停或者是正则化
  • 如何跳出局部的最优解
    • 模拟退火
    • 采用多组不同参数初始化的神经网络
    • 随机梯度下降
  • 其他的神经网络
    • 径向基函数 神经网络
    • ART网络 竞争型学习

深度学习

  • 逐层训练 + 整体微调
  • 权共享 : 让一组神经元使用相同的连接权
  • 没有看懂 手写识别的过程

支持向量

  • 距离超平面最近的训练样本
  • 支持向量机 最大化间隔
    • 间隔:
机器学习 周志华 读书笔记_第1张图片
支持向量机的间隔
  • 核函数: 把训练集投射到更高维度的空间中,简化了内积运算的求解
    • 核函数还可以通过线性组合,直积以及函数嵌套的方式进行重组
  • 软间隔: 在最大化间隔的同时,不满足约束的样本应该尽可能的少,需要定义损失函数

支持向量回归

  • 只有超出给定的偏差范围时,才会计算损失
  • 表示定理: 优化问题的最优解都可以表示为核函数的线性组合

贝叶斯分类器

  • 目标: 最小化总体的风险
  • 可以通过平滑的方式,来避免因为训练集不充分的原因,而造成的估计概率值为0的情况。
  • 贝叶斯网: 训练之后可以用来查询,通过一些属性变量的观测值来推测其他属性变量的取值

集成学习

  • 构建并结合多个学习器来完成学习的任务
  • 泛化性能比较好
  • 每个分类器要 好而不同 ,随着分类器数目的增加,集成的错误率会按照指数下降。
  • 优化方法:
    • Boosting:主要降低偏差,可以用于繁华性能相当弱的学习器
    • Bagging 与随机森林
      • Bagging : 随机采样出T个训练集,然后分别训练各个模型,分类使用简单的投票法,回归任务采用平均法。
      • 随机森林: 随机的选择一个属性来用于划分(与决策树相似),效果优于Bagging

聚类

  • 距离计算: JC系数,FM系数,RI系数,性能的结果均值在[0,1]区间内,值越大越好
  • 没有具体的标准,因此算法比较多

降维与度量学习

  • K近邻学习: 懒惰学习——虽然简单,但是泛华错误率不会超过贝叶斯最优分类器的结果的两倍
    • 面临问题: 高维空间中数据十分稀疏 -> 用降维的方法解决
  • 非线性降维: 避免丢失高维空间的结构信息,需要利用核函数
  • 流形学习: 利用等度量映射,降维后的空间的距离不能使用高维空间的距离计算方式。(如何转换成低维空间——使用机器学习的方法)
  • 度量学习: 直接学习一个可以计算距离的度量

特征选择与稀疏学习

  • 需要进行特征选择,特征的选择方法:
    • 过滤式的选择: 先选择,再训练,选择与训练互补影响
    • 包裹式的选择: 选择一个量身定做的训练集,开销更大,效果更好
    • 嵌入式选择 :在学习过程中自动进行了选择

你可能感兴趣的:(机器学习 周志华 读书笔记)