用C++来设计开发的基于boost文档的站内搜索引擎项目，点赞收藏起来！

项目描述

boost官网虽然提供了在线文档，但是没有一个方便的搜索入口，因此我基于这样的一个问题上，自主设计开发了一款基于boost文档的站内搜索引擎，可以让我们通过浏览器精准定位获取到我们所需要查找的信息内容，实现小型搜索引擎的功能。

主要技术

介绍主要项目，更有利于在学习这个项目的时候更好的进行下去：

---

• 在这个项目中我使用到的一些相关的功能实现总体而言的话是不需要我们进行深入了解的，如boost标准库的一些函数使用，cppjieba中分词函数进行倒排索引分词，，jsoncpp格式将我们生成的数据以json格式存放，cpphttpliib用来搭建http
  模块之中的html文件，因此对于这些功能函数体我们只需要包含它的头文件并且知道在项目之中使用了相关的那个功能就可以了。
• 除此之外其中最大的难点是对倒排索引的构建，它和正排索引这两个知识模块是我之前没有接触过的，这也是关于搜索引擎的一个新知识点，也是我在进行这个项目设计时候所遇到的项目中继分词功能实现后最为困难的一个疑难点。
• 正排索引：根据文档id查找相关的文档内容
• 倒排索引：根据文档内容查找相关的文档id
• 其中对于容器STL中vector，string的合理使用是C++中最经典的用法也是比较快捷的，其中在存储倒排索引权重时候使用哈希表，是对数据结构知识模块的考察。
• 因此整体来说，除过一开始那些相关的函数包含之外，更多的都是对于我所学习知识的一个考验，为了能够更加合理的将所学习过的知识融入到一起。

项目特点

0. 准备工作

---

• 在进行所有模块的初始化之前，需要按照我们的模块创建好对应的文件夹，将数据也放入对应的文件夹之中（即boosthtml文档，），因此需要提前设定好读取boost文档文件input的html的路径和存放从html取出的优化信息output的路径。
• 读取数据函数（Read）——是一个比较底层且使用频率较高的读函数，多个模块都能够使用到，我将其放入到公共目录common文件的util.hpp头文件之中，这样提供一个对外的接口更加便捷我们调用。
• 分词函（Split）——分词函数被索引模块和搜索模块共同使用，因此将其定义和声明放入到公共函数Util.hpp之中

       基于 boost 中的字符串切分, 封装一下
       delimiter 表示分割符, 按照啥字符来切分.
      理解 token_compress_off:
       例如有个字符串: aaa\3bbb\3\3ccc
       此时按照 \3 进行切分,
       切分结果可能有两种风格:
       1. 结果有三个部分,  aaa bbb ccc       token_compress_on 有分割符相邻时,
       会压缩切分结果
       2. 结果有四个部分,  aaa bbb "" ccc    token_compress_off
       不会压缩切分结果的.
      static void Split(const string &input, const string &delimiter,
                        vector<string> *output) {
          boost::split(*output, input, boost::is_any_of(delimiter),
                       boost::token_compress_off);
     }

• 索引模块和搜索模块的很多内容是相互用的，也就是同样的函数会在这两个模块之中都被调用到，因此我将其中两个都用到的函数以及HTTP模块所需要调用的函数全定义在同一个头文件searcher.h之中，并且将其两个模块的功能放在同一个具体函数之中进行实现。
  在头文件之中需要定义索引模块（Index）的内容和搜索模块（Searcher）的内容，使用命名空间概念namespace searcher：

---

searcher.h中索引模块使用到的函数API接口

• 定义一个基于索引所需要用到的结构体DocInfo，这也是正排索引的基础，给定doc_id后映射到文档内容，也就是DocInfo对象；

  struct DocInfo {
      int64_t doc_id;//id在那个文档中出现
      string title;//标题
      string url;//url
      string content;//正文
  };

• 倒排索引的话则是给定词之后映射到包含该词的文档id列表，此处不光是要有文档的id，还应该有权重信息来对此进行最优化的一个排序，则定义一个倒排索引所需要用的权重信息及词内容的结构体Weight

  struct Weight {
      // 该词在哪个文档中出现
      int64_t doc_id;
      // 对应的权重是多少
      int weight;
      // 词是啥
      string word;
 };

其中要定义一个叫做“倒排拉链”的东西typedef vector InvertedList;，倒排拉链中是很多权重，用此来实现对倒排索引的哈希存储中kv键值对的v值类型

• 提供外部调用的API接口，构造一个Index类表示整个索引结构

  class Index {
    private:
      // 索引结构
       正排索引, 数组下标就对应到 doc_id
      vector<DocInfo> forward_index;
       倒排索引, 使用一个 hash 表来表示这个映射关系
      unordered_map<string, InvertedList> inverted_index;
  
    public:
      Index();
      // 提供一些对外调用的函数
       1. 查正排, 返回指针就可以使用  而NULL 表示无效结果的情况
      const DocInfo* GetDocInfo(int64_t doc_id);
       2. 查倒排
      const InvertedList* GetInvertedList(const string& key);
       3. 构建索引
      bool Build(const string& input_path);
       4. 分词函数
      void CutWord(const string& input, vector<string>* output);
  
    private:
      DocInfo* BuildForward(const string& line);//字符串切分，使用\3将其行文本切分为3部分
      void BuildInverted(const DocInfo& doc_info);//
  
      cppjieba::Jieba jieba;
  };

searcher.h中搜索模块所用到的函数API接口

 class Searcher {
    private:
      Index* index;// 搜索过程依赖索引的. 就需要持有一个 Index 的指针.
 
    public:
      Searcher() : index(new Index()) {//构造函数
      }
      bool Init(const string& input_path);//初始化函数
      bool Search(const string& query, string* results);//搜索函数
  
    private:
      string GenerateDesc(const string& content, const string& word);//在正文之后显示160字的详细描述
 };

---

• jieba分词的字符定义
  提前将我们下载好的cppjieba文件解压的doc文档中的信息存放在自己具体的目录之中，之后将其定义出来，这段定义代码是在索引模块函数之中的。

 const char* const DICT_PATH = "../jieba_dict/jieba.dict.utf8";
 const char* const HMM_PATH = "../jieba_dict/hmm_model.utf8";
 const char* const USER_DICT_PATH = "../jieba_dict/user.dict.utf8";
 const char* const IDF_PATH = "../jieba_dict/idf.utf8";
 const char* const STOP_WORD_PATH = "../jieba_dict/stop_words.utf8";

Index::Index() : jieba(DICT_PATH, HMM_PATH, USER_DICT_PATH, IDF_PATH, STOP_WORD_P    ATH) {
 26 }

1. 预处理模块

读取原始的html文档的内容，进行预处理操作：解析出一些重要的信息，文档标题，文档的URL，文档的正文（是去除原来的html标签，只保留正文）

---

因boost文档提供了两个版本，离线版本（下载）和在线版本（浏览器访问），所以为了能够在浏览器进行搜索的时候，直接展示出我们想要的内容，我通过基于离线版本分析文档页面的内容，为搜索功能提供支持，之后在浏览器点击进行搜索的时候，通过离线版本的倒排索引找到在线版的相关url信息，将其直接展示在浏览器上。

读取文档之前首先要定义好相关的变量结构体用来存放具体的数据，文档的标题，文档的正文，文档的url

  创建一个重要的结构体, 表示一个文档(一个 HTML)
  struct DocInfo {
       文档的标题
      string title;
       文档的 url
      string url;
       文档的正文
      string content;
  };

我将预处理模块分为三个部分
1. 把input目录中所有的html路径都枚举出来：将文件传入枚举函数

• 如果自己一个个目录进行枚举的话，对于boost的5500+文件想要枚举遍历完，不仅是对内存和时间会产生非常巨大的消耗，而且会严重的影响到使用者的查找体验，因此我这里使用boost函数来完成；
• 首先检查所传入的地址目录是否存在，如果存在则成功打开其文件进行递归遍历，在递归遍历的时候使用一个核心的类，之后其迭代器循环实现的时候其内部自动调用递归遍历方式完成递归。
• 什么样的内容会被枚举：遇见的不是普通文件而是一个目录则直接跳过，或者不是html文件是其他文件也直接跳过，直到找到一个将其路径加入到最终结果vector之中。

      fs::recursive_directory_iterator end_iter;
      for (fs::recursive_directory_iterator iter(root_path); iter != end_iter;
           ++iter) {
          当前的路径对应的是不是一个普通文件. 如果是目录, 直接跳过.
          if (!fs::is_regular_file(*iter)) {
              continue;
          }
          当前路径对应的文件是不是一个 html 文件. 如果是其他文件也跳过.
          if (iter->path().extension() != ".html") {
             continue;
          }
          把得到的路径加入到最终结果的 vector 中
          file_list->push_back(iter->path().string());
      }

2. 根据枚举出来的路径依次遍历读取每个html中内容，进行解析：打开枚举出路径的文件，先将内容一股脑地全部读出来之后使用for循环将每一个html取出来将其内容拿出来解析

       负责从指定的路径中, 读取出文件的整体内容, 读到 output 这个 string 里
      static bool Read(const string &input_path, string *output) {
          std::ifstream file(input_path.c_str());
          if (!file.is_open()) {
              return false;
          }
           读取整个文件内容, 思路很简单, 只要按行读取就行了, 把读到的每行结果,
           追加到 output 中即可
           getline 功能就是读取文件中的一行.
           如果读取成功, 就把内容放到了 line 中. 并返回 true
           如果读取失败(读到文件末尾), 返回 false
          string line;
          while (std::getline(file, line)) {
              *output += (line + "\n");
          }
          file.close();
          return true;
      }

读取完成之后就是对其内容进行解析，解析的话因为需要能够得到需要的正文，url，title标题这三部分，我将其解析过程分为四块来进行解析：

---

1. 读取文件内容，一股脑的把文件内容都读取出来
   直接调用common公共文件之中的Util.hpp文件之中的Read函数，来获取所有的文件内容；

2. 根据文件内容解析出标题（html之中有着一个title标签）
   将每一个读取出的html传入标题解析函数，对其进行解析，解析出来title后放入到doc_info->title之中/
   查找标题的具体实现：要大概了解html的格式，会发现