机器学习课程总结

机器学习课程总结

1. 基本任务

1. 回归
   1. 线性回归
      1. 任务：回归&多元回归
      2. 思想：最小化所有数据点到分类平面的均方误差
      3. 模型：凸优化问题
         
      4. 算法：梯度下降法
         
   2. 决策树
   3. 支持向量机
2. 分类
   1. 逻辑回归
      1. 任务：线性分类
      2. 思想：最大化数据点的似然函数
         
      3. 模型：凸优化问题
         
      4. 算法：数值方法–>近似解（梯度下降法、牛顿法）
   2. 决策树
      1. 任务：回归&分类
      2. 思想：利用分而治之的思想对数据集进行递归划分
      3. 模型：树形结构，利用特定准则选取属性
         
      4. 算法：ID3, C4.5, CART等
   3. 感知机
      1. 任务：线性二分类
      2. 思想：最小化误分类点到分类平面的距离
      3. 模型：
      4. 算法：梯度下降法
         
   4. 支持向量机
      1. 任务：分类&回归
      2. 思想：最大化数据点到分类超平面的最短距离
      3. 模型：凸约束优化问题
         
      4. 算法：
         1. 凸二次规划可解：效率低
         2. 拉格朗日乘子法–>对偶问题
            1. 对偶模型：分类&回归
            2. 算法：SMO算法–>每次迭代都有闭式解
   5. 贝叶斯分类
   6. 神经网络
      1. 任务：线性分类&非线性分类
      2. 思想：利用多层神经网络对非线性可分的数据进行分类
      3. 模型：
      4. 算法：误差逆传播（BP）算法 = 梯度下降 + 链式法则
         
3. 监督学习
4. 聚类
   1. K-means
      1. 任务：球状数据聚类
      2. 思想：通过寻找合适的聚类中心对数据进行聚类
      3. 模型：非凸组合优化模型
         
      4. 算法：Lloyd算法（贪婪算法）–>局部最优
   2. 谱聚类
      1. 任务：任意形状数据聚类
      2. 思想：通过对图切问题进行松弛后求解
      3. 模型：非凸矩阵优化模型
         
      4. 算法：瑞丽商问题–>闭式解
   3. 层次聚类
5. 降维
   1. 主成分分析
      1. 任务：非监督降维
      2. 思想：最大化投影后数据的方差，最小化重建误差
      3. 模型：非凸优化模型
         
      4. 算法：特征值问题 --> 闭式解
   2. 线性判别分析
      1. 任务：监督降维
      2. 思想：最大化类间散度矩阵Sb，最小化类内散度矩阵Sw
      3. 模型：非凸优化模型
         
      4. 算法：广义特征值问题 --> 闭式解

2. 要求

1. 基础知识
   1. 基本概念
   2. 数据集划分
   3. 性能度量
   4. 描述各个任务之间的关系
2. 线性回归
   1. 简述线性回归问题
   2. 对简单数据进行计算
   3. 可以编程实现线性回归算法
3. 逻辑回归
   1. 简述，以及与线性回归的异同点
   2. 梯度下降法、牛顿法的基本原理和迭代公式
   3. 编程实现
4. 决策树
   1. 简述
   2. 会用三种算法（ID3, C4.5, CART）对数据进行分类
   3. 对生成的决策树进行剪枝处理
5. 感知机
   1. 简述
   2. 解决逻辑分类问题
6. 神经网络
   1. 简述
   2. 与感知机的关系
   3. BP算法的基本原理和迭代公式
7. 支持向量机
   1. 简述
   2. 与其他分类算法的异同
   3. 使用拉格朗日乘子法对约束优化问题进行求解，理解使用拉格朗日乘子法求解SVM问题的原因
   4. 简述软间隔支持向量机，与常规支持向量机的关系与区别
   5. 理解SMO算法
8. K-means
   1. 简述
   2. 简述Lloyd算法的流程
   3. 理解模型的矩阵形式
9. 谱聚类
   1. 简述两种图切问题
   2. 简述算法流程
   3. 掌握工作原理
   4. 与K-means的关系
10. 主成分分析
    1. 简述算法
    2. 简述PCA算法的流程
    3. 核化PCA与PCA的异同
11. 线性判别分析
    1. 简述
    2. 与PCA的异同
    3. 简述LDA算法的流程