【朴素贝叶斯】实战朴素贝叶斯_代码实现_训练算法

说一下Train函数的实现。

在上文中，我提到过，朴素贝叶斯也有两种模型：贝努力模型和多项式模型。小弟第一次实现朴素贝叶斯，就老老实实按照基本原理做了一个贝努力模型；多项式模型也不难，变通一下就行。不废话了，直接上代码了，有点长，不过很容易看懂：

bool NaiveBayes::Train (const char * sFileSample, int iClassNum, int iFeaTypeNum,
							 string & sSegmenter, int iFeaExtractNum, const char * sFileModel, bool bCompactModel)
{
	// 防御性代码
	if (iClassNum <= 0 || iFeaTypeNum <= 0 || iFeaExtractNum <= 0)
		return false;

	ifstream in (sFileSample, ios_base::binary);
	ofstream out (sFileModel);
	if (!in || !out)
	{
		cerr << "Can not open the file" << endl;
		return false;
	}

	// 这些都是临时数据结构，用来临时存储模型参数，特征选择需要的参数等等
	// 1. the temp data structure for model parameters
	// 1.1 the total number of document in training samples
	int iTotalDocNum = 0;
	// 1.2 the prior probability of class, temparaly it store the doc number in this class
	double * pClassPriorProb = new double [iClassNum];
	memset (pClassPriorProb, 0, iClassNum*sizeof(double));
	// 1.3 the prior probability of feature type, temparaly it stores the doc number in this feature （这个主要用于特征选择，bayes模型本身并不需要这个参数）
	double * pFeaItemPriorProb = new double [iFeaTypeNum];
	memset (pFeaItemPriorProb, 0, iFeaTypeNum*sizeof(double));
	// 1.4 the chi-square value that feature falls into class, temparaly it stores the doc number for this class and feature （可以看到，特征选择算法主要用卡方选择）
	double ** ppChiMatrix = new double * [iClassNum];
	for (int i=0; i= iClassNum)
			continue;
		pClassPriorProb [iClassId]++;

		// 2.3 count the rest feature items
		iSeg += sTmp.length();
		sTmp = sLine.substr (iSeg);
		istringstream isLine (sTmp);
		string sTmpItem;
		while (isLine >> sTmpItem)
		{
			int iFeaItemId = atoi (sTmpItem.c_str());
			if (iFeaItemId >= iFeaTypeNum)
				continue;
			// add the count
			pFeaItemPriorProb [iFeaItemId]++;
			ppChiMatrix [iClassId][iFeaItemId]++;

		}
	}

	// 3. calculate the model parameters 
	// 3.1 the chi-square value as well as the post-probabilty
	for (int i=0; i

在这个函数的主要功能就是统计，一方面统计后验概率，另一方面统计卡方特征选择所需要的参数，他们分别存储在ppChiMaxtrix和ppProbMatrix。这两个都是二维数组，数组的维度由类别数目和特征类型总数决定。数据结构的设计风格都是c的风格，自己搭建数据，并负责释放；并没有用c++ stl中的复杂数据结构，如：set、map等。中间经过特征选择，最后模型存储在文本文件当中。

接下来，讲特征选择算法。