统计学习方法——朴素贝叶斯法
参考链接：https://blog.csdn.net/wyq_wyj/article/details/79485618
贝叶斯公式： P ( B ∣ A ) = P ( A B ) P ( A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A)} P(B∣A)=P(A)P(AB)=P(A)P(A∣B)P(B)
先验概率： P ( Y = c k ) P(Y=c_k) P(Y=ck)
条件概率： P ( X = x ∣ Y = c k ) P(X=x|Y=c_k) P(X=x∣Y=ck)
后验概率：设训练数据集有N个样本，类别有K类。在输入x的条件下，分类为 c k c_k ck的概率：
P ( Y = c k ∣ X = x ) = P ( X = x , Y = c k ) P ( X = x ) P(Y=c_k|X=x)=\frac{P(X=x,Y=c_k)}{P(X=x)} P(Y=ck∣X=x)=P(X=x)P(X=x,Y=ck)
= P ( X = x , Y = c k ) P ( X = x , Y = c 1 ) + P ( X = x , Y = c 2 ) + . . . + P ( X = x , Y = c K ) =\frac{P(X=x,Y=c_k)}{P(X=x,Y=c_1)+P(X=x,Y=c_2)+...+P(X=x,Y=c_K)} =P(X=x,Y=c1)+P(X=x,Y=c2)+...+P(X=x,Y=cK)P(X=x,Y=ck)
简写：
P ( c k ∣ x ) = P ( x , c k ) P ( x , c 1 ) + P ( x , c 2 ) + . . . + P ( x , c K ) P(c_k|x)=\frac{P(x,c_k)}{P(x,c_1)+P(x,c_2)+...+P(x,c_K)} P(ck∣x)=P(x,c1)+P(x,c2)+...+P(x,cK)P(x,ck)
= P ( x ∣ c k ) P ( c k ) P ( x , c 1 ) + P ( x , c 2 ) + . . . + P ( x , c K ) =\frac{P(x|c_k)P(c_k)}{P(x,c_1)+P(x,c_2)+...+P(x,c_K)} =P(x,c1)+P(x,c2)+...+P(x,cK)P(x∣ck)P(ck)
朴素贝叶斯法将实例分到后验概率最大的类中，即在 P ( c 1 ∣ x ) ， P ( c 2 ∣ x ) 。 。 。 P ( c K ∣ x ) P(c_1|x)，P(c_2|x)。。。P(c_K|x) P(c1∣x)，P(c2∣x)。。。P(cK∣x)中选择一个最大的，其 c k c_k ck作为x的类别。
由于上式的 P ( c k ) P(c_k) P(ck)和 P ( x , c 1 ) + P ( x , c 2 ) + . . . + P ( x , c K ) P(x,c_1)+P(x,c_2)+...+P(x,c_K) P(x,c1)+P(x,c2)+...+P(x,cK)都是常数，故求最大后验概率就转化为求最大的 P ( x ∣ c k ) P(x|c_k) P(x∣ck)