【Boost】:前置知识（一）

一.背景

现在知名的搜索引擎，例如；谷歌，百度，搜狐…它们的搜索是属于全网的，而本次的项目是区域搜索。

项目演示

要做的工作

我们的服务器首先要从浏览器里获取网页，把这些网页去标签，进行数据清理，紧接着建立索引，把索引检索的网页放到sercher里，再把网页进行剪切拼接，形成新的网页，最终返回到浏览器里。（PS:由于国家安全规定爬虫不能使用，所以我们会换一种合法的方式获取网页）。

二.下载boost库手册的网页资源

boost官网

这里下载任意一个版本都行。

将库拖到Linux服务器里。将它解压到boost_searcher文件夹里（任意文件夹都可，只要你能找到）

如果出现乱码就多传几次。

解压

这个文件里就是官网所有内容，直接下载就避免了使用爬虫程序。我们只处理该文件里的html文档。

创建一个目录来放置源文件，然后就可以删除Boost库了

三.正排索引和倒排索引

1.正排索引：根据文档ID，查找文档。
2.倒排索引：根据文档内容，分词，联系文档ID。

例如:

文档1：乔布斯买了四斤苹果。

文档2：乔布斯发布了苹果手机。

文档ID	文档内容
文档1	乔布斯买了四斤苹果
文档2	乔布斯发布了苹果手机

正排索引就是直接通ID查找内容。在说倒排索引时要先说一下分词。

对于停止词，例如：了，的，吗，a，an，the，我们一般在分词时不考虑。

例如：

文档1：乔布斯/买/四斤/苹果

文档2：乔布斯/发布/苹果/苹果手机

关键字（具有唯一性）	文档ID
乔布斯	文档1，文档2
买	文档1
四斤	文档1
苹果	文档1，文档2
发布	文档2
苹果手机	文档2

模拟一次查找过程：

用户输入:苹果->倒排索引中查找→提取出文档lD(1,2)→根据正排索引-找到文档的内容→title+conent (desc) +ur1文档结果进行摘要-构建响应结果

四.认识标签和去标签

什么是标签

像这种被<>括起来的就是标签，一般标签都是成对出现的，这些标签对于我们搜索毫无用处。

在data的同级目录下创建parser.cc文件，用来清理数据。

同时在data目录里创建一个raw_htm文件夹，在该文件夹里创建一个txt文件来放处理好的文件。

目标:把每个文档都去标签，然后写入到同一个文件中!每个文档内容不需要任何\n!文档和文档之间用\3区分