北大天网搜索引擎TSE分析及完全注释[6]倒排索引的建立的程序分析(2)

 

面的DocIndex程序输入一个Tianwang.raw.*****文件，会产生一下三个文件 Doc.idx, Url.idx, DocId2Url.idx，我们这里对DocSegment程序进行分析。

这里输入 Tianwang.raw.*****，Doc.idx，Url.idx.sort_uniq等三个文件，输出一个Tianwang.raw.***.seg 分词完毕的文件

1. int main(int argc, char* argv[])
2. {
3.     string strLine, strFileName=argv[1];
4.     CUrl iUrl;
5.     vector<CUrl> vecCUrl;
6.     CDocument iDocument;
7.     vector<CDocument> vecCDocument;
8.     unsigned int docId = 0;
10.     //ifstream ifs("Tianwang.raw.2559638448");
11.     ifstream ifs(strFileName.c_str());  //DocSegment Tianwang.raw.****
12.     if (!ifs) 
13.     {
14.         cerr << "Cannot open tianwang.img.info for input/n";
15.         return -1;
16.     }
18.     ifstream ifsUrl("Url.idx.sort_uniq");   //排序并消重后的url字典
19.     if (!ifsUrl) 
20.     {
21.         cerr << "Cannot open Url.idx.sort_uniq for input/n";
22.         return -1;
23.     }
24.     ifstream ifsDoc("Doc.idx"); //字典文件
25.     if (!ifsDoc) 
26.     {
27.         cerr << "Cannot open Doc.idx for input/n";
28.         return -1;
29.     }
31.     while (getline(ifsUrl,strLine)) //偏离url字典存入一个向量内存中
32.     {
33.         char chksum[33];
34.         int  docid;
36.         memset(chksum, 0, 33);
37.         sscanf( strLine.c_str(), "%s%d", chksum, &docid );
38.         iUrl.m_sChecksum = chksum;
39.         iUrl.m_nDocId = docid;
40.         vecCUrl.push_back(iUrl);
41.     }
43.     while (getline(ifsDoc,strLine))     //偏离字典文件将其放入一个向量内存中
44.     {
45.         int docid,pos,length;
46.         char chksum[33];
48.         memset(chksum, 0, 33);
49.         sscanf( strLine.c_str(), "%d%d%d%s", &docid, &pos, &length,chksum );
50.         iDocument.m_nDocId = docid;
51.         iDocument.m_nPos = pos;
52.         iDocument.m_nLength = length;
53.         iDocument.m_sChecksum = chksum;
54.         vecCDocument.push_back(iDocument);
55.     }
59.     strFileName += ".seg";
60.     ofstream fout(strFileName.c_str(), ios::in|ios::out|ios::trunc|ios::binary);    //设置完成分词后的数据输出文件
61.     for ( docId=0; docId<MAX_DOC_ID; docId++ )
62.     {
64.         // find document according to docId
65.         int length = vecCDocument[docId+1].m_nPos - vecCDocument[docId].m_nPos -1;
66.         char *pContent = new char[length+1];
67.         memset(pContent, 0, length+1);
68.         ifs.seekg(vecCDocument[docId].m_nPos);
69.         ifs.read(pContent, length);
71.         char *s;
72.         s = pContent;
74.         // skip Head
75.         int bytesRead = 0,newlines = 0;
76.         while (newlines != 2 && bytesRead != HEADER_BUF_SIZE-1) 
77.         {
78.             if (*s == '/n')
79.                 newlines++;
80.             else
81.                 newlines = 0;
82.             s++;
83.             bytesRead++;
84.         }
85.         if (bytesRead == HEADER_BUF_SIZE-1) continue;
88.         // skip header
89.         bytesRead = 0,newlines = 0;
90.         while (newlines != 2 && bytesRead != HEADER_BUF_SIZE-1) 
91.         {
92.             if (*s == '/n')
93.                 newlines++;
94.             else
95.                 newlines = 0;
96.             s++;
97.             bytesRead++;
98.         }
99.         if (bytesRead == HEADER_BUF_SIZE-1) continue;
101.         //iDocument.m_sBody = s;
102.         iDocument.RemoveTags(s);    //去除<>
103.         iDocument.m_sBodyNoTags = s;
105.         delete[] pContent;
106.         string strLine = iDocument.m_sBodyNoTags;
108.         CStrFun::ReplaceStr(strLine, " ", " ");
109.         CStrFun::EmptyStr(strLine); // set " /t/r/n" to " "
112.         // segment the document 具体分词处理
113.         CHzSeg iHzSeg;
114.         strLine = iHzSeg.SegmentSentenceMM(iDict,strLine);
115.         fout << docId << endl << strLine;
116.         fout << endl;
117.         
118.     }
120.     return(0);
121. }

这里只是浮光掠影式的过一遍大概的代码，后面我会有专题详细讲解 parse html 和 segment docment 等技术