模式识别与机器学习（国科大2021-2022秋季学期课程）-基础概念及算法

声明： 部分图片来自于课程讲义

写在前面

本文仅作为课程的总结，可以作为考试复习的大纲，其中包含一些习题或者是往年的考试题目，作为练习，文中以[例题]样式标明。虽然大多是为了考试，还是加入了一些概念、推导，甚至是讨论、困惑，作为点缀和“警示”。

整理的顺序较乱，但已经尽力而为，大致是按照授课顺序整理的（整个课程的授课顺序就很迷惑，没有主线，可能是因为能讲的太多太杂）。

习题解答参考

声明：个人作业，仅供参考，请勿保存，禁止在其他网站转载！如有错误请务必在评论区指出，或联系[email protected]，十分感谢！
https://blog.csdn.net/sunzhihao_future/article/details/122315786

模式识别经典算法

线性判别分析

感知器算法（赏罚机制）

贝叶斯决策问题

贝叶斯最小错误率判别

贝叶斯最小错误率判别：利用模式集的统计特性来分类，以使分类器发生错误的概率最小。对于两类模式集的分类，要确定$x$是属于${\omega }_1$类还是${\omega }_2$类，要看$x$是来自于${\omega }_1$类的概率大还是来自${\omega }_2$类的概率大。
[例题]

更正：预测特征为$A=0,B=1$的邮件是否为垃圾邮件。
[例题]

贝叶斯最小风险判别

贝叶斯最小风险判别：当考虑到对于某一类的错误判决要比对另一类的判决更为关键时，就需要把最小错误概率的贝叶斯判别做一些修正，提出条件平均风险$r_j(x)$。对M类问题，如果观察样本被判定属于${\omega }_j$类 ，则其条件平均风险为$r_j(x)={\sum }_{i=1}^M{L}_{ij}P({\omega }_i|x)$，其中$L_{ij}$为将本应属于${\omega }_i$类的模式判别成属于${\omega }_j$类的是非代价。

[例题]

更正：其中${\lambda }_{ij}$表示将本应属于${\omega }_i$类的模式判别成属于${\omega }_j$类所带来的风险损失。

正态分布模式的贝叶斯分类器

两类问题且其类模式都是正态分布的情况：

线性判别函数

对于$M$类模式的分类，多类情况1需要$M$个判别函数，而多类情况2需要$M\ast (M-1)/2$个判别函数，当$M$较大时，后者需要更多的判别式（这是多类情况2的一个缺点）。

采用多类情况1时，每一个判别函数都要把一种类别的模式与其余$M-1$种类别的模式分开，而不是将一种类别的模式仅与另一种类别的模式分开。由于一种模式的分布要比$M-1$种模式的分布更为聚集，因此多类情况2对模式是线性可分的可能性比多类情况1更大一些，这是多类情况2的一个优点。

特征提取与降维

PCA主成分分析（K-L变换）

一般特征的散布矩阵准则：

Fisher线性判别

考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，当把它们投影到一条直线上时，也可能会是几类样本混在一起而变得无法识别。但是，在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分得开。

如何根据实际情况找到一条最好的、最易于分类的投影线，这就是Fisher判别方法所要解决的基本问题。

机器学习经典模型

支持向量机

硬间隔支持向量机

Optimal Margin Classier: Dual Solution





Linearly Separable SVM (Dual)

[例题]

逻辑回归模型

隐马尔科夫模型

[例题]
假设有3个盒子，分别装有不同数量的苹果（记为A）和桔子（记为O），其中盒子一中放有2个A，2个O；盒子二中放有3个A，1个O；盒子三中放有1个A，3个O；每次随机选择一个盒子并从中抽取一个水果，观测并记录看到的水果是哪种。但不幸的是，忘记去记录所选的盒子号码，只记录了每次看到的水果是A还是O。
(1) 请用HMM模型描述上述过程。
(2) 假如观测到水果序列为 x = {A，A，O，O，O}，请给出最佳的盒子序列。



[例题]
在下图所示的HMM模型中：

（1）采用前向算法计算序列“AGTT”出现的概率。
（2）计算“TATA”最可能出现的状态序列。

聚类算法

基本理论

Minkowski距离：

余弦相似度：

经典聚类算法

K-means

如何选择K？

当不同的簇之间具有不同的尺寸、密度或者非球形时，K-means聚类效果不好。

高斯混合模型GMM

DBSCAN

DBSCAN是基于密度的聚类算法，其核心思想是将密度可达的点聚类为一个簇。

降维

多维缩放MDS

等距离映射ISOMAP

测地线距离（Geodesic Distance）

全局嵌入方法与局部嵌入方法

半监督学习

通用想法：同时利用有标注数据和无标注数据学习。

三个假设

多视角学习

概率图模型

经典概率图

[例题]
给定如下概率图模型，其中变量X2,X4 为已观测变量，请问变量量X1,X5 是否独立? 并用概率推导证明之.

集成学习

基本理论

No Free Lunch Theorem：没有任何学习算法可在任何领域总是产生最准确的学习器。
Occam‘s Razor：如无必要，勿增实体。

过拟合与欠拟合

当模型本身过于复杂时，特征和类别之间的关系中所有的细枝末节都被捕捉，主要的趋势反而在乱花渐欲迷人眼中没有得到应有的重视，导致过拟合（overfitting）的发生。反之，如果模型过于简单，它不仅没有能力捕捉细微的相关性，甚至连主要趋势本身都没办法抓住，这样的现象就是欠拟合（underfitting）。

偏差和方差

偏差来源于模型中的错误假设。偏差过高就意味着模型所代表的特征和标签之间的关系是错误的，对应欠拟合现象；
方差描述的是模型通过学习拟合出来的结果自身的不稳定性，方差过高意味着模型对数据中的噪声也进行了建模，对应着过拟合现象。

集成学习算法

Bootstrap

Bagging, Bootstrap aggregating

Boosting

Adaboost