《统计学习方法》——第四章朴素贝叶斯及C++实现

Input: 特征向量
Output : 实例类别
可用于多分类，属于生成模型，先估计X,Y的联合概率分布P（X,Y），再计算条件概率P(Y|X)
朴素贝叶斯法和朴素贝叶斯估计是两种不同的概念
朴素贝叶斯法（model)---->参数估计
$$参数估计=\{\begin{array}{r}最大似然估计\\ 贝叶斯估计\end{array}$$改进原因，如果某一个要估计的P为0，例如NLP应用中，某个词向量出现的次数为0，影响后验概率的计算，因此使用贝叶斯估计方法。最大似然估计，最大可能性估计。

强条件独立性的基本假设

用于分类的特征在类确定的条件下都是条件独立的,在这种强条件独立性假设下，可以省去每种特征向量的参数估计，复杂度降低，但是会降低估计的准确性。
$$\begin{gathered} P(X=x|Y=C_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots ,X^{(n)}=x^{(n)}|Y=C_k) \\ =\prod _{i=1}^{n}P(X^{(i)}=x^{(i)}|Y=C_k) \end{gathered}$$

P(X,Y)是怎么求出来的呢？

$$\{\begin{array}{r}贝叶斯定理P(X,Y)=P(X|Y)P(Y)\\ 强条件假设P(X|Y)=P(X=x|Y=Ck)\end{array}$$根据前面强条件假设可以求得P(X|Y),P(Y)也可求
所以$$P(Y=C_k|X=x)=\frac{P(X,Y)}{P(Y)}=\frac{P(X=x|Y=C_k)P(Y=C_k)}{{\sum }_{k}P(X=x|Y=C_k)P(Y=C_k)}$$$$=\frac{P(Y=C_k){\prod }_{i=1}^{n}P(X^{(i)}=x^{(i)}|Y=C_k)}{{\sum }_{k}P(Y=C_k){\prod }_{j}P(X^{(j)}|Y=C_k)}$$
因为分母部分都是一样的，所以最后只需$$y=argma{x}_{C_k}P(Y=C_k)\prod _{i=1}^{n}P(X^{(i)}=x^{(i)}|Y=C_k)$$

极大似然估计：

$$P(Y=C_k)=\frac{{\sum }_{i=1}^{N}I(y_i=C_k)}{N}$$$$P(X^{(j)}=a_{jl}|Y=C_k)=\frac{{\sum }_{i=1}^{N}I(X_I^{(j)}=a_{jl},y_i=C_k)}{{\sum }_{i=1}^{N}I(y_i=C_k)}$$

贝叶斯估计：

$$P(Y=C_k)=\frac{{\sum }_{i=1}^{N}I(y_i=C_k)+\lambda }{N+k\lambda }$$$$P(X^{(j)}=a_{jl}|Y=C_k)=\frac{{\sum }_{i=1}^{N}I(X_I^{(j)}=a_{jl},y_i=C_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=C_k)+S_j\lambda }$$$S_j表示每类特征的可能性$$

按照书上例子以及算法流程使用C++实现如下：

#include  
#include  
#include 
using namespace std;c
onst int MaxNum = 20;
struct DataSet
{
    vector samples;
    int labels;
}data[MaxNum];
class Bayes
{
public:    
/**加载数据**/
    int loadData()
    {
        fstream f ;
        int countNum = 0;
        f.open("data.txt");
        int i = 0; double temp1,temp2;        while(!f.eof())
        {
            f>>temp1>>temp2>>data[i].labels;
            data[i].samples.push_back(temp1);
            data[i].samples.push_back(temp2);
            i++;
            countNum++;
        }
        f.close();
        return countNum;
    }    
    /**指示函数,如果A==B 返回1，若果不相等返回0**/
    bool Indication_function(double a,double b)
    {
        if(a==b)
            return true;
        else
            return false;
    }
    /**找到一个向量中不同的数值，并返回向量**/
    vector find_different(vector arg)
    {
        int K = arg.size();
        vector Ck;
        Ck.push_back(arg[0]);
        int flag =0;
        for (int i=1;i find_different(vector arg)
    {
        int K = arg.size();
        vector Ck;
        Ck.push_back(arg[0]);
        int flag =0;
        for (int i=1;i Priori_Probability(vector Ck,DataSet *data,int N)
    {
        int k = Ck.size();
        vector pp;
        int countNum = 0;
        for(int i=0;i> find_features(DataSet data[],int N)
    {
        int K=2; //data.samples.size();
        vector> features(K);
        vector a;
        for(int k=0;k temp;
        for(int i=0;i>> Conditional_Probability(vector Ck,vector> features,DataSet *data,int N)
    {
        int ck_N = Ck.size();//ck_N是类别的不同
        int feature_k = features.size();
        //定义每一类的坟墓个数
        vector fenmu(ck_N);
        for(int k=0;k>> res(ck_N);
        for(int n=0;n>> fenzi(ck_N);
        for(int n=0;n Predict(vector x,vector Ck,vector Priori_Probability,
                           vector>> Conditional_Probability,vector> features)
    {
        int ck_N = Ck.size();
        vector res;
        vector temp;
        double temp1=1;        for(int i=0;i res,vector Ck)
    {
        int n= res.size();
        double temp=res[0];
        int orth=0;
        for(int i=1;itemp)
            {
                temp = res[i];
                orth =i;
            }
        }
        return Ck[orth];
    }
};
int main()
{
    Bayes by;
    int N = by.loadData();
    cout<<"样本总数： "<< N < C ;//Ck是类别的不同
    for(int i=0;i Ck = by.find_different(C);    vector pp = by.Priori_Probability(Ck,data,N);
    cout<<"测试先验概率是否正确："<> Features = by.find_features(data,N);    cout<<"测试特征及特征取值是否正确："<>> res = by.Conditional_Probability(Ck,Features,data,N);
    for(int i=0;i x;
    x.push_back(2);
    x.push_back(9);
    vector predict= by.Predict(x,Ck,pp,res,Features);
    cout<<"样本x预测为每一个类别的概率："<