机器学习学习笔记——朴素贝叶斯

关键词

• 分类算法；
• 生成方法->找出Y和X和联合分布P(X, Y)->P(Y|X)=P(X, Y)/P(X)得出
• 对应判别方法（决策树、KNN、逻辑回归、SVM等）->学习出Y=f(X) or P(Y|X)
• 先验概率+似然（数据）=后验概率，贝叶斯派假设先验概率分布的模型（正态分布、beta分布等）

贝叶斯公式

$$P(Y_k|X)=\frac{P(X|Y_k)P(Y_k)}{{\sum }_{k}P(X|Y=Y_k)P(Y_k)}.$$

朴素贝叶斯模型

1. 学习先验分布$P(Y=C_k)$
2. 学习条件概率分布$P(X=x|Y=C_k)$
3. 用贝叶斯公式得到X和Y的联合分布P(X, Y)