贝叶斯分类

1.朴素贝叶斯法

基于贝叶斯定理与特征条件独立假设的分类方法；
1.1步骤：
a.给定训练集，基于特征条件独立假设学习输入输出的联合概率分布；
b.基于模型对给定x利用贝叶斯定理求出后验概率最大的输出y。
1.2 先验概率分布及条件概率分布
先验概率分布
$P(y=ck)k=1,2,3...K$
条件概率分布
$P(X=x|Y=ck)=P(X^1=x^1...X^n=x^n|Y=ck)$
由条件独立假设（牺牲一定的准确性），上式拆分为
$$\prod _{i=1}^{n}P(X^i=x^i|Y=ck)$$
由贝叶斯公式求出后验概率
$$P(Y=ck|X=x)=\frac{P(X=x|Y=ck)P(Y=ck)}{{\sum }_1^{n}P((X=x|Y=ck)P(Y=ck)}$$
后验概率最大的类即x的类输出
由$$P(X=x|Y=ck)$$已知，得到朴素贝叶斯分类器为
$$y=f(x)=argma{x}_{ck}P(Y=ck|X=x)=\frac{P(Y=ck){\prod }_{i=1}^{n}P(X^i=x^i|Y=ck)}{{\sum }_1^{n}P(Y=ck){\prod }_{i=1}^{n}P(X^i=x^i|Y=ck)}$$
由于分母为常量，因此可以简化为$$y=f(x)=argma{x}_{ck}P(Y=ck|X=x)=P(Y=ck)\prod _{i=1}^{n}P(X^i=x^i|Y=ck)$$
取后验概率最大化的原因：等价于期望风险最小化

1.3 极大似然估计
使用极大似然估计进行参数估计，即得到该结果最有可能的参数值
1.4 贝叶斯估计
极大似然估计可能会出现0值，将影响后验概率结果（目标函数取的是乘积）
使用贝叶斯估计
$$即在分子加\lambda 分母加入S_j\lambda$$
确保分数大于零且和依旧为1
$$P_{\lambda }(x^i=a_{j}l|Y=ck)=\frac{P(x^i=a_{j}l,y=ck)+\lambda }{P(y=ck)+S_j\lambda }$$
i为X中第i个变量，l为可能取的值([1,Sj])
$$\lambda 一般取1，即拉普拉斯平滑$$