统计机器学习（一） -- 机器学习介绍（1、2）

• ML
  网络 算法 机器
  优化 概率 统计
  数据 矩阵 信息
  模型 推理
  获知识靠学习
  Data -> 模型 -> 推理
• statistics
  提供建模框架
• Data Mining

ML	statistic
networks graphs	models
weights	parameters
learning	fitting or estimation
generalization	Test set
supervised learning	regression /classification
unsupervised learning	密度估计 聚类

• Data Science
  • 底层架构
  • coding
  • 数学建模
• 统计机器学习
  结合计算和统计， 信息论， 信号处理， 控制论， 优化
  ML = 矩阵 + 优化 + 算法 + 统计
• 机器学习 研究问题

  • 降维

    
    

  • 聚类 分类 回归 排序

    
    
• ML 一般方法

  • 频率派
    将参数看作未知常数，通过训练数据定义一个准则来估计

    
    

  • 贝叶斯派

    
    
• ML 参数和非参数 分类

  • 参数
    参数个数固定， 与训练数据无关
    比如 逻辑回归

    
    

  • 非参数模型
    参数无穷多， 和训练数据有关
    比如 最近邻方法