机器学习笔记——机器学习概述

• • 统计学习的分类：
    • 机器学习从不同角度可以分成许多类：
      • 从有无参数角度可以分为：
        • parametric
        •   None-parametric
      • 从限制性角度来讲：
        • 有高restrictive 的模型
        • 和 flexible 的模型分别占据了解释性和精确性
      • 从数据结构的标定上
        • 监督性算法
        • 非监督性算法
        • 半监督性算法
  • 机器学习的描述指标：
    • MSE mean square estimation 均方差
      • 均方差主要有两个层次，一个是training MSE; 一个是test MSE
      • 训练模型的目标总是选取使traning MSE最小的参数,越fllexible 的方法得到的Training MSE越小，但这并不总是很好的事情，Traing MSE随模型自由度的上升而下降，而test training 却呈现U型曲线，过高的自由度只会出现过度拟合的现象。
    • bias-varience training
      • bias 体现的是模型系统的内在偏置，一个高自由度问题如果用低自由度模型去估计，就会有很大bias, bias 随着 flexibility 而减小
      • varience 体现的是训练结果随着样本的波动，在样本一致的条件下，随着flexiblity 的增大而varience 减小。
      • 两者之间的取舍就是bias-varience traing ，两者之间的竞速关系也对test traing 的U型曲线做出了解释。
    • error rate 与 test error rate
      • 这两者都是判断一个学习模型的优秀程度的指标。真正关键的是第二个，因为这个是有意义的，但我们用的往往都是第一个，因为这个指标才是用在training 中的。
  • 贝叶斯分类器和KNN方法：
    • 贝叶斯分类器是根据条件概率选取的方法，计算所求样本在目前下的条件概率，来对变量进行区分，概率最大的那种标签就是所判断的那种标签，最后根据标签进行样本的划分，所得到的划分边界线叫做贝叶斯边界。
    • KNN方法：
      • 这个是样本周围的最近的K个样本标签，那个多就给那个加上一个判定，最后的判定的边界就是KNN算法下的贝叶斯边界。
    • 归纳一下（所谓的贝叶斯分类器不就是一个该概率分类器么？有什么卵用么？）（在中文wiki里有对朴素贝叶斯分类器的一个介绍，看上去还是一个蛮有用的模型。

    • wiki:

      https://zh.wikipedia.org/wiki/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8

 

• R语言实践:

 

略