设C个类$\omega_{1},...,\omega_{C}$分别具有类先验概率$p(\omega_{1}),...p(\omega_{C})$。如果除了已知这些类概率分布以外，其他信息不得而知，则使分类错误率最小的决策规则是，若对象的
$$p\left( w_{j}\right) > p\left( w_{k}\right)，k=1,...,C; k\neq j$$
则将该对象归属于$w_{j}$类。这种分类决策按照最大先验概率把所有对象进行分类，而对那些具有同等先验概率的样本，随机的归入这些类中的任何一个。
对于观察向量或测量向量$\vec x$，希望将其归入C类的某一类。
如果向量$\vec x$ 关于$w_{j}$类的概率，即$p(w_{j}|\vec x)$,比关于其它所有类$w_{1},...,w_{c}$的概率都大，则基于概率的决策规则将$\vec x$归于$w_{j}$类。也就是说，如果：
$$p\left( w_{j}|\vec x\right) >p\left( w_{k}|\vec x\right)，k=1,...,C; k\neq j$$
则将$\vec x$归入$w_{j}$类。这种决策规则将测量空间划分成C个区域$\Omega_{1},...,\Omega_{C}$(区域$\Omega_{j}$可能是不联通的)，如果$\vec x\in\Omega_{j}$,则$\vec x$属于$w_{j}$类。
利用贝叶斯定理，可以获得先验概率$p(w_{i})$和类条件概率密度函数$p(\vec x|w_{i})$表示的后验概率$p(w_{i}|\vec x)$:
$$p(w_{i}|\vec x)=\frac{p\left( x|w_{i}\right)p\left( w_{i}\right) }{p(\vec x)}$$
由此，决策规则写成：若
$$p(\vec x|w_{j})p(w_{j})>p(\vec x|w_{k}), k=1,...,C;k\neq j$$
则将$\vec x$归入$w_{j}$类这就是最小错误贝叶斯决策规则。
对于两类问题，决策规则可以写成：若
$$l_{r}(\vec x)=\frac{p(\vec x|w_{1})}{p(\vec x|w_{2})}>\frac{p(w_{2})}{p(w_{1})}，则\vec x\in w_{1}类$$
函数$l_{r}(\vec x)$称为似然比。
分类错误概率p(error)可以表示为
$$p(error)=\sum ^{C}_{i=1}p(error|w_{i})p(w_{i})$$
其中，$p(error|w_{i})$是来自$w_{i}$类的样本的错分概率，可以通过对$[\Omega_{i}]$的补集上的类条件概率密度函数的积分获得
$$p\left( error|w_{i}\right) = \int _{C\left[ \Omega 1\right] }p\left( x|w_{i}\right) dx$$
其中，$C[\Omega_{i}]$指除$\Omega_{i}$以外的测量空间(C为补集算子)，即$\sum ^{C}_{j=1,j\neq i}\Omega_{j}$。因此，样本的错分概率写成：
$$p(error) = \sum ^{C}_{i=1}\int _{C[\Omega_{i}] }p(\vec x|w_{i}) dx$$ $$ \qquad\qquad\qquad\qquad = \sum ^{C}_{i=1}p\left( w_{i}\right) (1-\int _{\Omega 1}p\left(\vec x|w_{i}\right) dx$$ $$ \qquad\qquad\qquad\quad =1- \sum ^{C}_{i=1}p(w_{i})\int _{\Omega_{1}}p(\vec x|w_{i}) dx$$
可以看出，最小化错分概率等价于最大化正分概率
$$\sum ^{C}_{i=1}p(w_{i})\int _{\Omega_{1}}p(\vec x|w_{i}) dx$$