【boost搜索引擎】

实战项目：Boost搜索引擎

---

• 博主主页：桑榆非晚ᴷ

• 博主能力有限，如果有出错的地方希望大家不吝赐教

• 给自己打气：成功没有快车道，幸福没有高速路。所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持✨

  ---

---

1.项目背景及项目目标

（1）在如今的信息时代下，市面上已经有了很多的公司有了自己的搜索引擎。比如最为知名的百度、搜狗、360搜索等搜索引擎。但是这些搜索引擎太过庞大，技术门槛太高，实现的资源成本也高，目前我们自主实现是不太可能的。我们可以自主实现一个站内搜索的搜索引擎，就比如我们经常使用的cplusplus.com网站，站内搜索的特点就是数据搜索更垂直，数据量更小。

（2）Boost作为C++的准标准库,在C++代码编写中使用频率很高,但是在官方的网站中,却没有站内搜索,并不便于用户的快速查找。

所以我们的项目boost搜索引擎,就是用来提供对boost官方库中资源的搜索服务的。

2.搜索引擎的相关宏观原理

(1)通过爬虫程序在全网中抓取相关的html网页信息,存至server服务器端的磁盘当中。

(2)对这些html文件,进行去标签化与数据清理,即只保留网页文件中的主要信息(title,content,url)。

(3)对去标签化清理后的数据,建立索引,方便我们进行后续的检索查找。

(4)客户端在浏览器中发起http请求,服务端在索引中检索到相关的html网页主要信息。

(5)拼接多个网页的(title+content+url)信息,构建出一个新html网页,返回给用户。

PS:爬虫程序,涉及法律,技术等因素限制,所以我们暂时只爬取一个boost库官方网站,且通过正规

渠道下载boost库的相关文件，我们这里使用的是boost_1_81_0版本。

boost库下载链接：https://boostorg.jfrog.io/artifactory/main/release/1.81.0/source/
我们项目里使用boost_1_81_0.tar.gz

3.搜索引擎技术栈和项目环境

• 技术栈: C/C++、STL、 准标准库Boost、Jsoncpp、cppjieba、cpp-httplib 、HTML5，CSS，js，jQuery、Ajax
• 项目环境： Centos 7云服务器、vim/gcc(g++)/git/Makefile 、 VSCode

4.正排索引 && 倒排索引 - 搜索引擎基本原理

• 文档1：雷军买了四斤小米
• 文档2：雷军发布了小米手机

(1) 正排索引：根据文档ID找到文档内容

文档ID	文档内容
1	雷军买了四斤小米
2	雷军发布了小米手机

(2) 文档分词：对目标文档进行分词(目的: 方便建立倒排索引与查找)

• 文档1[雷军买了四斤小米 ]: 雷军/买/四斤/小米/四斤小米
• 文档2[雷军发布了小米手机]：雷军/发布/小米/小米手机

PS:停止词如 “了” , “从” , “吗” , “the” , “a” 等,在我们分词的时候不纳入考虑范围。

(3) 倒排索引：根据文档内容，分词，整理不重复的各个关键字，对应联系到文档ID的方案

关键词（具有唯一性）	文档ID，权重（weight）
雷军	文档1、文档2
买	文档1
四斤	文档1
小米	文档1、文档2
四斤小米	文档1
发布	文档2
小米手机	文档2

(4) 模拟一次查找的过程：

用户输入 : 小米 -> 倒排索引中查找 -> 提取出文档ID{1,2} -> 根据正排索引

-> 找到文档内容 -> title+content+url 文档结果进行摘要 -> 构建响应结果

5. 编写数据去标签与数据清理的模块 Parser

(1) 获取相关boost资源,进入官网 https://www.boost.org 进行相应资源下载(我们以1.81.0为例)

(2) Parser.cc代码框架

#include 
#include 
#include 

// 是一个目录，下面放的是所有的html网页
const std::string src_path = "data/input";
// 去标签后
const std::string output = "data/raw_html/raw.txt";

typedef struct DocInfo
{
    std::string title;   // 文档标题
    std::string content; // 文档内容
    std::string url;     // 该文档在官网中的url
}DocInfo_t;

// 规定
// const & :输入型参数
// * : 输出型参数
// & : 输入输出型参数

// 
bool EnumFile(const std::string &src_path, std::vector<std::string> *files_list);

bool ParseHtml(const std::vector<std::string> &files_list, std::vector<DocInfo_t> *results);

bool SaveHtml(const std::vector<DocInfo_t> &results, const std::string &output);


int main()
{ 
    // 创建一个用于保存文件名带路径的顺序容器vector
    std::vector<std::string> files_list;
    // 第一步：递归式的把每个html文件名带路径，保存到files_list,方便后期进行一个一个的文件进行读取
    if(!EnumFile(src_path, &files_list))
    {
        std::cerr << "enum file name error!" << std::endl;
        return 1;
    }
        
    // 第二部：按照files_list读取每一个文件的内容，并进行解析
    std::vector<DocInfo_t> results;
    if(!ParseHtml(files_list, &results))
    {
        std::cerr << "parse html error!" <<std::endl;
        return 2;
    }

    // 第三步：把解析完毕的各个文件内容，写入到output，按照\3作为每个文档内容的分隔符
    // 例如：
    // title\3content\3url \n title\3content\3url \n title\3content\3url \n
    if(!SaveHtml(results, output))
    {
        std::cerr << "save html error!" << std::endl;
        return 3;
    }

    return 0;
}

(3) EnumFile接口的实现:

要实现EnumFile接口,就是要在/data/input/文件夹下 , 提取每个html网页文件的路径名称。这时候就需要借助boost库中的接口来完成这一任务。

这里做一个区分,我们做站内搜索的版本是1.8.0 , 我们写代码要使用的boost库是1.53.0版本。

在云服务器中对boost库进行安装:sudo yum install -y boost-devel

(4) boost库的使用步骤：

EnumFile接口实现：

bool EnumFile(const std::string &src_path, std::vector<std::string> *files_list)
{
    namespace fs = boost::filesystem;
    // 创建一个path对象
    fs::path root_path(src_path);
    // 判断路径是否存在，不存在就没有必要再往下走了
    if(!fs::exists(root_path))
    {
        std::cerr << src_path << "not exists" << std::endl;
        return false;
    }

    // 定义一个空的迭代器，用来进行判断递归结束
    fs::recursive_directory_iterator end;
    for(fs::recursive_directory_iterator iter(root_path); iter != end; iter++)
    {
        // 判断是否是普通文件，html都是普通文件
        if(!fs::is_regular_file(*iter))
        {
            continue;
        }
        // 判断文件路径的后缀是否符合要求
        if(iter->path().extension() != ".html")
        {
            continue;
        }
        // std::cout << "debug: " << iter->path().string() << std::endl;
        // 当程序执行的这里，说明当前的路径式合法的，以.html结束的普通网页文件
        
        // 将所有带路径的html保存在files_list，方便后续进行文本分析
        // iter->path()获取的还是path对象，我们需要的是string风格的带路径的文件名
        files_list->push_back(iter->path().string());
    }
    return true;
}

ParseHtml接口实现：

bool ParseHtml(const std::vector<std::string> &files_list, std::vector<DocInfo_t> *results)
{
    // files_list中存放的都是以.html结尾的文件名的路径
    for(const std::string &file : files_list)
    {
        // 1.读取文件，Read()
        std::string result; // 读取文件的内容放到result中
        if(!ns_util::FileUtil::ReadFile(file, &result))
        {
            // 如果当前的.html文件读取失败，就不再进行解析，直接继续读取下一个.html文件
            continue;
        }
		
		// typedef struct DocInfo
		// {
    		// std::string title;   // 文档标题
    		// std::string content; // 文档内容
    		// std::string url;     // 该文档在官网中的url
        // }DocInfo_t;
        
        DocInfo_t doc;
        // 2.解析指定文件，提取title
        if(!ParseTitle(result, &doc.title))
        {
            continue;
        }
        // 3.解析指定文件，提取content
        if(!ParseContent(result, &doc.content))
        {
            continue;
        }
        // 4.解析指定文件路径，构建url
        if(!ParseUrl(file, &doc.url))
        {
            continue;
        }

        // done 
        results->push_back(std::move(doc));// bug:TODO 细节，本质会发生拷贝，效率可能比较低，所以使用c++11中的移动构造提高效率
    }

    return true;
}

ReadFile接口实现：

#pragma once
#include 
#include 
#include 

namespace ns_util
{
    class FileUtil
    {
    public:
        static bool ReadFile(const std::string &file_path, std::string *out)
        {
            // C++中的文件操作
            std::ifstream in(file_path, std::ios::in);
            if(!in.is_open())
            {
                std::cerr << "open file" << file_path << " error" << std::endl;
                return false;
            }

            std::string line;
            while(std::getline(in, line)) // 如何理解getline读取到文件结束呢？？getline的返回值是一个&，while(bool)，本质是因为返回类型重载了强制类型转化
            {
                *out += line;
            }

            in.close();
            return true;
        }
    };
}

ParseTitle接口实现：

static bool ParseTitle(const std::string &result, std::string *title)
{
    size_t begin = result.find("");
    if(end == std::string::npos)
    {
        return false;
    }

    begin += std::string("");
    if(end == std::string::npos)
    {
        return false;
    }

    begin += std::string("