国科大.模式识别与机器学习.期末复习笔记手稿+复习大纲

写在最前

这是博主复习《模式识别与机器学习》这门课程时的手稿。本文基本覆盖了这门课程的所有知识点，认真复习的话90分以上没有什么问题，如果有哪里的字体难以辨认，请评论区留言。

另外，需要历年考试真题的同学可以在评论区留言，祝考试顺利！

复习大纲

第二章统计判别

• 贝叶斯判别准则
• 最小风险判别
• 正态分布模式的贝叶斯分类器：
  • 类先验分布参数估计
  • 类条件分布参数估计

第三章判别函数

• 线性判别的原理
• Fisher线性判别
• 感知器算法
• 经典迭代训练算法

第四章特征选择和提取

• 特征选择主要方法概念
• K-L变换（主成分分析PCA）原理和流程

第五章统计学习理论基础

• 过拟合与正则化
• 泛化能力分析

第六章监督学习

• 判别式分类模型：逻辑回归LR
• 生成式分类模型：高斯判别分析、朴素贝叶斯分类器
• 参数估计：极大似然估计（MLE）、最大后验估计（MAP）

第七章支持向量机

• SVM原型问题的形式化
• SVM对偶问题的形式化

第八章聚类：经典聚类算法的基本原理和适用场景

• K均值聚类
• GMM
• 层次聚类
• 基于密度聚类（DBSCAN）

第九章降维

• 线性降维：PCA流程
• 非线性降维：核PCA基本概念
• 流形模型：全局嵌入和局部嵌入的代表性方法

第十章半监督学习

• 半监督学习的常用假设
• 常用方法的基本概念
  • 自我训练
  • 多视角学习
  • 基于GMM的生成模型
  • S3VM（TSVM）

第十一章概率图模型

• 有向概率图模型的表示
• 条件独立性判断
• 隐马尔可夫模型（HMM）的原理
• Viterbi 解码

第十二章集成学习

• 偏差与方差分析
• 欠拟合与过拟合的判断和改进
• Bagging原理
• Boosting原理

第十三章深度学习

• 神经元基本模型
• 常用激活函数及其特性：Sigmoid、ReLU
• 卷积神经网络CNN原理
• 深度网络参数训练技巧、深度模型避免过拟合的策略