【模式识别与机器学习】-第二章（统计判别）

第一章（顺便写上第一章啦一般都是介绍课程大纲与自己背景）

 

 

 

主要内容
第一章 概述 3学时 黄庆明
第1节 课程主要内容和规划
第2节 模式识别的基本概念
第3节 模式识别简史和应用
第4节 模式识别的方法
第5节 模式识别系统
第6节 相关数学基础
第二章 统计判别 3学时 李国荣
第1节 贝叶斯判别准则
第2节 最小风险判别
第3节 正态分布模式的贝叶斯分类器
第4节 均值向量和协方差矩阵的参数估计
第三章 判别函数 6学时 李国荣
第1节 线性判别函数
第2节 广义线性判别函数
第3节 分段线性判别函数
第4节 模式空间和权空间
第5节 Fisher线性判别
第6节 感知器算法
第7节 多模式分类
第8节 迭代训练算法
第9节 势函数法
第10节 决策树
第四章 特征选择和提取 3学时 李国荣
第1节 模式类别可分性
第2节 特征选择
第3节 K-L变换
第五章 统计学习理论基础 3学时 李国荣
第1节 机器学习简史和应用
第2节 机器学习任务分类
第3节 参数学习
第4节 过拟合
第5节 偏差方差分析
第6节 正则化方法和泛化理论分析
第六章 监督学习 3学时 李国荣
第1节 线性回归模型
第2节 判别式分类模型和逻辑回归
第3节 生成式分类模型和贝叶斯模型
第七章 支持向量机 6学时 李国荣
第1节 支持向量机基础理论
第2节 拉格朗日乘子法和对偶问题
第3节 线性支持向量机
第4节 软间隔的支持向量机
第5节 核方法支持向量机
第6节 支持向量回归
第7节 SMO求解方法
第八章 聚类 3学时 卿来云
第1节 无监督学习与有监督学习对比
第2节 距离计算
第3节 聚类算法的评价方法
第4节 经典聚类方法
第九章 降维 3学时
第1节 维度的选择和抽取
第2节 线性降维
第3节 非线性降维和流形模型
第十章 半监督学习 3学时 卿来云
第1节 自我训练
第2节 多视角学习
第3节 生成模型
第4节 S3VMs
第5节 基于图的算法
第6节 半监督聚类
第一十一章 概率图模型 3学时 卿来云
第1节 有向概率图模型
第2节 无向概率图模型
第3节 学习和推断
第4节 典型的概率图模型
第一十二章 集成学习 3学时 卿来云
第1节 机器学习中的哲学思想
第2节 分类器设计中的重采样技术
第3节 模型性能评估
第一十三章 深度学习及应用 12学时 卿来云
第1节 人工神经网络的生物原型
第2节 生物视觉系统简介
第3节 卷积神经网络CNN源起与概述
第4节 典型卷积神经网络结构
第5节 循环神经网络
第6节 反向传播算法介绍
第7节 深度模型训练技巧
第8节 深度模型应用
第9节 深度学习未来发展趋势
第一十四章 课程复习 3学时 李国荣
第1节 课程复习
第一十五章 期末考试 3学时 卿来云
第1节 期末考试

参考用书
1、 模式识别 边肇祺 2000 清华大学出版社
2、 机器学习从原理到应用 卿来云、黄庆明 2020 人民邮电出版社
3、 统计学习方法 李航 2019 清华大学出版社
4、 机器学习 周志华 2016 清华大学出版社
5、 神经网络与深度学习 邱锡鹏 2020 机械工业出版社 

第二章

第二章 统计判别 3学时 李国荣
第1节 贝叶斯判别准则
第2节 最小风险判别
第3节 正态分布模式的贝叶斯分类器
第4节 均值向量和协方差矩阵的参数估计

   一些基础数学理论有点忘了，回顾一下:
条件概率、全概率公式、贝叶斯公式推导及其意义

条件概率：P（B|A），已知A发生，B发生的概率为多大
全概率公式可以理解为，原因推结果，原因为：小偷去偷这个东西，结果是：那么这个东西是否被偷。
贝叶斯公式可以理解为，结果推原因，结果为：东西被偷了，原因是：那个小偷偷的可能性更大。

先验概率和后验概率，概率模型的机器学习算法，包括深度学习中都是用的概率，所以这个一定要弄清楚，虽然我也经常忘记~~~~

贝叶斯判别简要原理及其实例:

朴素贝叶斯：
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法
深入理解朴素贝叶斯（Naive Bayes）【机器学习-通俗易懂、实际操作】

应用：朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤，社区真实用户判别。

不同于其它分类器，朴素贝叶斯是一种基于概率理论的分类算法；
特征之间的条件独立性假设，显然这种假设显得“粗鲁”而不符合实际，这也是名称中“朴素”的由来。然而事实证明，朴素贝叶斯在有些领域很有用，比如垃圾邮件过滤；
在具体的算法实施中，要考虑很多实际问题。比如因为“下溢”问题，需要对概率乘积取对数；再比如词集模型和词袋模型，还有停用词和无意义的高频词的剔除，以及大量的数据预处理问题，等等；
总体上来说，朴素贝叶斯原理和实现都比较简单，学习和预测的效率都很高，是一种经典而常用的分类算法。
贝叶斯最小风险判别【精品】

 正态分布模式的贝叶斯分类器

PPT（2.2正态分布模式的贝叶斯分类器）
当已知或者有理由设想类概率密度函数p(x|ωi )是多变量的正态分布时，上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。
由于正态密度函数易于分析，且对许多重要的实际应用又是一种合适的模型，因此受到很大的重视。

均值向量和协方差矩阵的参数估计.#目的为了计算判别函数界面需要的步骤

补一下：一文搞懂极大似然估计【精品】
  极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！
  换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。
【精品】最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。
https://blog.csdn.net/u011508640/article/details/72815981

作业：

可以参考：

小结：
   主要讲贝叶斯及其扩展（传统经典数学方式）进行分类，回归了一些数学基础知识（贝叶斯公式、全概率公式、极大似然估计）,统计和概率是一菜两用，p(x|seta)，如果x未知则为概率，如果x已知则为统计。

  虽然很基础，但理论的东西还是需要花时间去琢磨去走一遍留个印象。
   ==========
配套老师的PPT与PDF，需要的小伙伴可以评论留下您的邮箱。