模式分类--贝叶斯决策论2

前面章节介绍了贝叶斯决策论，现在我们将其推广到多个特征、多种状态类别、更一般的损失函数行为。
首先特征标量x变为特征向量x,如果有d个特征，则称其d维欧几里得空间为特征空间（二维的欧几里得空间就是一个平面直角坐标系，三维就是一个立体）。
行为是指给定x，我们将其划分为类别w或者拒绝决策等等。

最小化条件风险

我们有一个观测特征x，我们要采取某一行动，这些行动是有风险（损失、代价）的。用 来表示。那么给定x，我们可能带来的损失期望（条件风险）可以用下式表示：

该式的含义是，在x的条件下，我们将其分类为不同状态w时（概率），我们对风险的预期（联系一下期望的运算公式很容易理解）。
这样，不管我们遇到什么样的x，我们只要通过选择最小化条件风险的行为，预期风险达到最低，将后验概率与代价函数联系到一起。
总风险依然是一个期望（寻找规则使其最小化）：

贝叶斯决策规则

具体的执行决策过程如下：

1、计算给定观测特征x下的后验概率。
2、根据风险函数计算每种行为下的条件风险期望。
3、选择风险最小的行为。
以两类分类为例：
条件风险

比较风险大小

贝叶斯公式整理后

这里有一个重要的内容 似然比阈值 ，整理上式以后，我们得到下式：

公式不依赖观测x,只与风险函数和先验概率有关。当似然比大于或者小于某个阈值时，我们可以做出决策。

最小误差分类

最小误差分类就是选择一种判定规则使误判概率（误差率）最小。
假定损失函数如下：

那么条件风险为

判别规则为

最小误差分类的判别规则与最大后验概率的判别规则一致。
下面简单说明损失函数（表现为似然比阈值）对判决边界、误判概率的影响。

从图中我们看到，如果w2模式误判为w1模式的惩罚大于w1误判为w2，那么似然比阈值变大，模式判决为w1的x取值范围变小了，也就是说判决边界向损失小的方向移动。

极小化极大准则

极小化极大准则找到一种先验概率未知或者变动比较大的最小化总风险的判别规则—最小化最大可能的总风险。
假设R1和R2为判定区域（虽然不知道），那么总风险可以表示为

利用和
总风险可以表示为：

建立了总风险与先验概率的函数关系（判定边界确定，成线性关系，P（w1）为自变量）。
这样如果我们找到一个边界使公式第二项为0，那么总风险与先验概率独立（求解过程）。最小化的总风险为：

该方法找到最坏的贝叶斯风险作为判别边界，这样误差不会随着概率的改变而改变。
误判概率和先验概率的关系如下图：
在边界确定的情况下，能到找到最大误差。

Neyman-Pearson准则

该准则用于最小化带有约束条件的总风险，例如约束条件为我们采取某个行为或者一个特定类别误判的次数不超过某个常数。该问题可以通过调节判决边界的方式来解决。