机器学习终极总结——朴素贝叶斯法

朴素贝叶斯法

---

转载请注明作者和出处：http://blog.csdn.net/m0_37959404
未来将更新机器学习之于sklearn包中的用法，尽情期待。

基本知识

训练数据集

T={(x1,y1),(x2,y2),...,(xN,yN)}

由 P(X,Y) 独立同分布产生。
先验概率分布： P(Y=ck) , k=1,2,...,K
条件概率分布：

P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)

    k=1,2,...,K
朴素贝叶斯法对条件概率分布作了条件独立性假设：

P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)

将后验概率最大的类作为x的类输出。

P(Y=ck|X=x)=P(X=x|Y=ck)P(Y=ck)∑kP(X=x|Y=ck)P(Y=ck)=P(Y=ck)∏jP(X(j)=x(j)|Y=ck)∑kP(Y=ck)∏jP(X(j)=x(j)|Y=ck)

y=f(x)=argminckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)∑kP(Y=ck)∏jP(X(j)=x(j)|Y=ck)

#分母都相同，因而省略分母

y=argminckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)