简易的站内搜索引擎 (万字长文！！绝对值得一看！！)

项目简介

这里所实现的并非如同百度、谷歌一样的全网搜索，我们的硬件条件达不到，并且技术实力也不够，但是我们可以按照搜索引擎的基本原理，来实现一个站内搜索，实现原理也算是大同小异，此项目分为四个模块：预处理模块、索引模块、搜索模块、服务器模块

项目背景

想要写一个搜索引擎也是源于偶然，在知乎上看到一篇文章，说是百度搜索为什么可以那么快？回答里说了很多方面的技术，其中最核心的就是倒排索引，这让我产生了浓厚的兴趣，但是因为实力和设备都有欠缺，没法做一个像是百度和搜狗一样的全网搜索，但我可以做一个站内搜索，来理解相应的技术。

项目开始前

虽然我们要实现的是站内搜索，但是与全网搜索大同小异，那么我们可以看一看搜索应该要包含什么

我们可以看到当我们在上面的文本框输入关键字之后点击搜索，在下面会显示出许多具有相关性的搜索结果，而这些搜索结果中至少需要包含以下四个部分：
标题
描述（网页正文摘要出一部分）
展示url
点击url，点击标题会跳转到另外一个url中
因此我们可以仿照百度的方式，来实现我们的搜索引擎

开始前的准备

httplib
g++版本必须得是4.9以上

jieba分词的库
用这个库的时候直接用include是不够的，需要将deps目录下的limonp也拷贝到include目录下

boost： yum install boost-devel.x86_64

jsoncpp： yum install jsoncpp-devel.x86_64

创建这样的一个目录结构

四个模块

预处理模块

这里就要提一下我为什么会选择boost网站来实现站内搜索了，

1. 我们暂时无法实现一个全网搜索，只能完成站内搜索
2. boost官方文档没有一个搜索功能，但是boost文档很常用，没有搜索功能比较麻烦
3. boost文档提供了两个版本，离线版本，在线版本
   boost提供了离线版本，那么我们就可以基于离线版本，分析文档页面的内容，为搜索功能提供支持。点击搜索结果的标题的时候，就能够跳转到在线版本的文档上，而如果网站内容无法直接下载，就必须使用爬虫来抓取页面到本地。

boost 在线文档.

我为什么选择1.53版本的boost呢？其实主要是因为我用的Linux版本是contos7，它默认就是1.53

那么我们现在得到了boost文档的离线版本之后需要干什么呢？
我们下载下来的boost文档，其实就是一个个的html，而这些html里面是有很多内容和标签混合在一起的，而我们需要的只是其中的标题，正文，url，而我们预处理阶段所要做的就是读取原始的html文档内容，提取我们所要的，整理成一个行文本，以供下面的模块使用
接下来我们就开始写预处理模块的代码了
首先我们需要定义两个变量来表示从哪里读数据和要把最后生成的行文本放到哪个路径下面展示一些 内联代码片。

这个变量表示从哪个目录中读取boost文档的html

string g_input_path ="../data/input";

这个变量表示预处理模块输出结果放到哪里

string g_output_path ="../data/tmp/raw_input";

我们还需要一个结构体，来表示一个个的html

struct DocInfo{
     string title;//文档的标题
     string url;//文档的url
     string content;//文档的正文
 };

既然我们要将所有的html都解析成行文件，那么我们首要做的就是将所下载的所有html都枚举加载进来，那么我们就可以封装一个函数

bool EnumFile(const string &input_path, vector<string> *file_list)

其中input_path为输入参数，file_list是输出参数，将上面定义的输入变量传进来，然后将所有的html都枚举到输出参数file_list中。我们的枚举过程中是会遇到目录的，而我们只要枚举html，C++的标准库中没有能做到这个的，但是boost库中可以。

//把boost::filesystem这个命名空间定义一个别名
 39     namespace fs = boost::filesystem;
 40     fs::path root_path(input_path);
 41     if(!fs::exists(root_path)){
 42       std::cout << "当前的目录不存在" << std::endl;
 43     }
 44
 45     //递归目录迭代器，迭代器使用循环实现的时候可以自动完成递归
 46
 47     fs::recursive_directory_iterator end_iter;
 48     for(fs::recursive_directory_iterator begin_iter(root_path); begin_iter != end_iter; ++begin_iter){
 49         //需要判定当前的路径对应的是不是一个普通文件
 50         //如果是目录直接跳过
 51         if(!fs::is_regular_file(*begin_iter))
 52         {
 53             continue;
 54         }
 55         //当前路径对应的文件是不是一个html文件，如果不是也跳过
 56         if(begin_iter->path().extension() != ".html"){
 57           continue;
 58         }
 59 
 60         //把得到的html加入到最终结果的vector中                                                                                                          
 61         file_list->push_back(begin_iter->path().string());

接下来就是遍历vector里面的html了，打开每一个html，然后解析其中的内容，解析出标题、正文、url，对应我们之前创建好的结构体
找到标题

70 //找到html中的title标签
 71 bool ParseTitle(const string& html, string *title){
 72     size_t beg = html.find("");
 78     if(end == string::npos){
 79         std::cout <<"标签未找到" <<std::endl;
 80         return false;
 81     }
 82     beg += string("");
 78     if(end == string::npos){
 79         std::cout <<"标签未找到" <<std::endl;
 80         return false;
 81     }
 82     beg += string("