模式识别学习笔记——判别函数和高斯分布

关于高斯分布的一些知识，强烈推荐B站白板推导机器学习系列。我的ML作业好多都是跟着UP主学的_(:з)∠)_

判别函数

 看到判别函数，我的第一反应是想起来上学期花了好久才有一点明白的“生成模型”和“判别模型”。

个人理解：生成模型旨在找出样本遵循的分布信息（感觉还是想逼近真正的分布），要对样本进行研究。然后利用学到的分布信息，对新的样本进行分类。判别模型更像是制作一种数学机器，用于分类，然后用样本来调整这台机器的参数，让它在某种指标下尽可能最优，实际上并不会关心这些样本到底是呈一种怎样的分布。

 形式： $g_i(x),i=1,...,c$

 每个类别 ${\omega }_i$ 都有一个判别函数 $g_i(x)$，把样本 $x$ 扔给每个判别函数，最后取值最大的那个为样本的分类。

• Two-class Classification

 二分类算是一个非此即彼的分类，所有只需要一个判别函数就可以解决问题。

 形式：$g(x)\equiv g_1(x)-g_2(x)$，if $g(x)\ge 0$ , decide ${\omega }_1$ , otherwise decide ${\omega }_2$

• 判别区域 and 判别边界

高斯分布

 这部分主要结合之前学的贝叶斯决策论

 先把高斯分布的概率密度函数写出来：

• 单高斯：

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

• 多高斯：

$$p(x)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

 假设类条件概率密度函数服从高斯分布：

 $p(x|{\omega }_i)\sim N({\mu }_i,{\Sigma }_i)$

 基于Minimum Error Probability Classification 的决策函数：

 $g_i(x)=logp(x|{\omega }_i)+logp({\omega }_i)$

 $=-\frac{1}{2}(x-{\mu }_i{)}^t{\Sigma }_i^{-1}(x-{\mu }_i)-\frac{d}{2}log(2\pi )-\frac{1}{2}log|{\Sigma }_i|+logP({\omega }_i)$

 上式中 $-\frac{d}{2}log(2\pi )$ 为常项

Special Cases

Case 1:

 等先验情况：

 $P({\omega }_1)=P({\omega }_2)=\cdots =P({\omega }_c)=\frac{1}{c}$

个人理解：分类主要靠的是差异。当先验都一样的时候，不存在差异，它对分类的影响就不存在了。

Case 1a

 ${\Sigma }_i={\sigma }^{2}I$

 选取的特征间相互独立（ ${\Sigma }_i$ 为对角阵，且每个特征的方差均为 ${\sigma }^2$ ）

 判别函数：(欧氏距离分类器)

 $g_i(x)=-\frac{1}{2{\sigma }^2}(x-{\mu }_i{)}^t(x-{\mu }_i)=-\frac{1}{2{\sigma }^2}\Vert x-{\mu }_i{\Vert }^2$

Case 1b

 ${\Sigma }_i=\Sigma$

 所有类别拥有相同的协方差矩阵

 判别函数：(马氏距离分类器)

 $g_i(x)=-\frac{1}{2}(x-{\mu }_i{)}^t{\Sigma }_i^{-1}(x-{\mu }_i)$

case1可以视为最短距离分类器，case1a分类标准是取和每一类均值 ${\mu }_i$ 的欧氏距离的最短的一个。case1b分类标准是取和每一类均值 ${\mu }_i$ 的马氏距离最短的一个。

Case 2:

 每个类别的先验$P(\omega )$不再相等

 ${\Sigma }_i={\sigma }^{2}I$

 选取的特征间相互独立（ ${\Sigma }_i$ 为对角阵，且每个特征的方差均为 ${\sigma }^2$ ）

 判别函数：（线性判别函数）

上图Same for all i部分，我理解就是前面写的，分类靠的是差异，样本大家都是通用的，那 $x^{t}x$ 对分类结果就不存在影响。

 两类的决策边界（超平面）也是线性函数:

 设 $x_0$ 为上式 $x$ 减去的那一长串式子。

 则这个决策边界经过 $x_0$ 点，斜率为 $({\mu }_i-{\mu }_j{)}^t$，垂直于两类均值连线

 当类别等先验的情况下（变为case1a），不难看出 $x_0=\frac{{\mu }_i+{\mu }_j}{2}$ ，即决策边界为两类均值连线的中垂线

 以一维情况举例，等先验情况下，决策边界刚好为类概率密度函数相等的时候

 先验不相等的情况下，决策边界向着先验小的那一类挤压过去。

Case 3:

 同样每个类别的先验$P(\omega )$不再相等

 ${\Sigma }_i=\Sigma$

 所有类别拥有相同的协方差矩阵

 判别函数：（线性判别函数）

 两类的决策边界（超平面）也是线性函数:

 同样设 $x_0$ 为上式 $x$ 减去的那一长串式子。

 则这个决策边界经过 $x_0$ 点，斜率为 $[{\Sigma }^{-1}({\mu }_i-{\mu }_j){]}^t$，不再垂直于两类均值连线

 当类别等先验的情况下（变为case1b），不难看出 $x_0=\frac{{\mu }_i+{\mu }_j}{2}$ ，即决策边界经过两类均值连线中点

 以二维情况举例，等先验情况下，决策边界过中点。

 先验不相等的情况下，决策边界向着先验小的那一类挤压过去。

General Cases