朴素贝叶斯方法推导

朴素贝叶斯

条件

X 为n维向量空间，Y为类别标签，假设有k个类别，每一维 X 有不同的取值

公式推导

假设在可以观察到的空间(训练集)中，可以观察P(X|Y)即每个 Y 对应的类别取值中X的概率分布。比如在 Y=ci 类中， X=xi 的概率是0.04。
有：

P(X=xi|Y=yi)P(Y=yi)=P(X=xi,Y=yi)
P(Y=yi|X=xi)P(X=xi)=P(X=xi,Y=yi)

得:

P(X=xi|Y=yi)P(Y=yi)=P(Y=yi|X=xi)P(X=xi)
==> P(Y=yi|X=xi)=P(X=xi|Y=yi)P(Y=yi)P(X=xi)

又：

P(X=xi)=∑kj=1P(X=xi|Y=yj)P(Y=yj)

联立得：

P(Y=yi|X=xi)=P(X=xi|Y=yi)P(Y=yi)∑kj=1P(X=xi|Y=yj)P(Y=yj)

朴素贝叶斯的基本假设：
条件概率

P(X=xi|Y=yi)=P(X(1)=xi(1),X(2)=xi(2),...,X(n)=xi(n)|Y=yi)

要估计这样的联合概率复杂度很高，因为训练集中不一定能观测导所有的 X 的可能情况。因此提出基本假设，所有的训练集X之间的各个参数条件独立(此处可以考虑ICA处理)，有：
斯的基本假设：
条件概率

P(X=xi|Y=yi)=P(X(1)=xi(1),X(2)=xi(2),...,X(n)=xi(n)|Y=yi)
=∏nm=1P(X(m)=xi(m)|Y=yi)

则公式为：

P(Y=yi|X=xi)=P(Y=yi)∏nm=1P(X(m)=xi(m)|Y=yi)∑kj=1P(Y=yj)∏nm=1P(X(m)=xi(m)|Y=yj)

=P(Y=yi)∏nm=1P(X(m)=xi(m)|Y=yi)P(X=xi)

判断时遍历所有可能的 yi ，取其中概率最大的值，而对于所有的 yi ，分母不管怎么算都相等，最后的判别公式为

Y(X)=argmaxY{P(Y=yi)∏nm=1P(X(m)=xi(m)|Y=yi)}

简单来说，就是假设现在是第 i 类，同时个各个x值出现固定,概率最大的取值。