实战项目：Boost搜索引擎

1. 项目的相关背景与目标

针对boost网站没有搜索导航功能，为boost网站文档的查找提供搜索功能

站内搜索：搜索的数据更垂直，数据量小
类似于cplusplus.com的搜索

2.相关宏观原理

3.技术栈和项目环境

技术栈：C/C++，C++11，STL，准标准库Boost（相关文件操作），jsoncpp（客户端和数据端数据交互），cppjieba（将搜索关键字进行切分），cpp-httplib（构建http服务器）
其他技术栈（前端）：html5，css，js，jQuery，Ajax
项目环境：Centos 7云服务器，vim/gcc（g++）/Makefile，vs2019/vs code(网页)

4. 正排索引、倒排索引

正排索引：从文档ID找到文档内容（文档内的关键字）
正排索引类似于书的目录，我们可以根据页数查找到对应的内容

目标文档进行分词：目的：方便建立倒排索引和查找
停止词：了，吗，的，the，a，一般情况我们在分词的时候可以不考虑

倒排索引：根据文档内容，分词，整理不重复的各个关键字，对应联系到文档ID的方案
文档ID中，各个文档ID的排序按照权重进行排序
倒排索引和正排索引是相反的概念，我们可以根据文档内容查询到这部分内容在哪些文件中出现，从而找到对应的文件

模拟查找过程
用户输入：
关键字->倒排索引中查找->提取出是文档ID（x，y，z，，，）->根据正排索引->找到文档的内容->将文档内容中的title+conent（desc）+url+文档结果进行摘要->构建响应结果

5. 数据去标签与数据清洗 Parser

5.1下载文件&&准备工作

经过测试：
edge,和360浏览器不能下载，每次的速度都是极慢（不到30KB），
并且在下载到一定时间后，会因为权限不足等情况直接不能下载
所以这个下载只能使用chrome下载，
虽然下载的速度还是很慢，但是不会因为其他问题而导致不能下载

下载好之后，
创建目录
然后将文件拖进Linux中
然后解压

我们只需要boost_1_79_0/doc/html/* 内的所有网址即可：

然后删除boost_1_79_0即可：

我们只需要：boost_1_79_0/doc/html 目录下的html文件，用它来进行建立索引

---

原始数据->去标签之后的数据

查看一共多少html文件

目标：
把每个文档都去标签，然后写入到同一个文件中，每个文档内容只占一行！文档和文档之间‘\3’区分。

为什么是\3？

5.2编写parser解析文档

5.2.1整体架构

#include                                                                                                                                                                        
#include    
#include

//目录   
const std::string src_path = "data/input/";
const std::string output = "data/raw_html/raw.txt";

typedef struct DocInfo
{
    std::string title;//文档标题    
    std::string content;//文档内容    
    std::string url;//该文档在官网中的url    
}DocInfo_t;


//格式规范：const &:输入；*：输出；&：输入输出
// 运用boost库进行读取
bool EnumFile(const std::string& src_path, std::vector<std::string>* files_list);
//解析标签， 
bool ParseHtml(const std::vector<std::string>& files_list, std::vector<DocInfo_t>* results);
//保存文件
bool SaveHtml(const std::vector<DocInfo_t>& results, const std::string& output);

int main()
{
    std::vector<std::string> files_list;
    //(1)将每个html文件名带路径保存到file_list中
    if (!EnumFile(src_path, &files_list))
    {
        std::cerr << "枚举文件名失败！" << std::endl;
        return 1;
    }

    //(2)对files_list中的每个文件内容进行解析
    std::vector<DocInfo_t> results;
    if (!ParseHtml(files_list, &results))
    {
        std::cerr << "解析html失败" << std::endl;
        return 2;
    }

    //(3)解析完后，将文件内容写入ouput，用'\3'进行分割
    if (!SaveHtml(results, output))
    {
        std::cerr << "保存文件失败！" << std::endl;
        return 3;
    }
    return 0;
}

5.2.2EnumFile

我们需要使用filesystem函数（boost库中的）

boost库安装

sudo yum install -y boost-devel
//devel是boost开发库

我们用的是1.53，我们搜索的是1.79，这两个不冲突。

boost网页查看函数使用方法：

#include
bool EnumFile(const std::string& src_path, std::vector<std::string>* files_list)
{
    namespace fs = boost::filesystem;
    fs::path root_path(src_path);//遍历时，从这个路径开始    

    //判断路径是否存在     
    if (!(fs::exists(root_path)))
    {
        std::cerr << src_path << "不存在" << std::endl;
        return false;
    }

    //对文件进行递归遍历    
    //定义一个空的迭代器，用来进行判断递归结束    
    fs::recursive_directory_iterator end;
    for (fs::recursive_directory_iterator iter(root_path); iter != end; iter++)
    {
        //判断文件是否为普通文件(html)都是普通文件    
        if (!(fs::is_regular_file(*iter)))  continue;


        //判断文件后缀是否为 .html     
        //path()迭代器的一种方法，用来提取路径的字符串；extension()提取带路径的文件名后缀    
        if (iter->path().extension() != ".html") continue;

        //std::cout<<"插入路径："<path().string()<

        //当前的路径一定是一个合法的，以.html结束的普通网页文件                                       
        //string()可以将其转化为字符串的形式                                                          
        files_list->push_back(iter->path().string());
    }
    return true;
}

5.2.3ParseHtml

5.2.3.1框架

bool ParseHtml(const std::vector<std::string>& files_list, std::vector<DocInfo_t>* results)
{
	for (const std::string& file : files_list)
	{
		//1.读取文件 Read()    
		std::string result;//读取文件放到这里    
		if (!(ns_util::FileUtil::ReadFile(file, &result))) {
			continue;//读取失败，继续处理下一个文件    
		}

		//2.解析指定文件，提取title    
		DocInfo_t doc;
		//解析title    
		if (!(ParseTitle(result, &doc.title))) {
			continue;//提取报头失败    
		}

		//3.解析指令的文件，提取content（内容）（去标签）    
		if (!(ParseContent(result, &doc.content))) {
			continue;
		}

		//4.解析指定的文件路径，构建url    
		if (!(ParseUrl(file,&doc.url))){
			continue;
		}

		//push_back()本质是拷贝，效率低    
		results->push_back(doc);
	}
	return true;
}

5.2.3.2ns_util::FileUtil::ReadFile(); 读取文件

延伸知识点：
如何理解getline读取到文件结束呢？
getline返回的是一个&，
本质是因为重载了强制类型转化

#include      
#include      
#include      

namespace ns_util
{
    class FileUtil
    {
    public:
        //读取文件      
        static bool ReadFile(const std::string& file_path, std::string* out)
        {
            //只读打开      
            std::ifstream in(file_path, std::ios::in);
            if (!in.is_open())//打开失败      
            {
                std::cerr << "打开失败！" << std::endl;
                return false;
            }

            std::string line;
            while (std::getline(in, line))
            {
                *out += line;
            }
            in.close();
            return true;

        }
    };
}

5.2.3.3ParseTitle()；提取标签

static bool ParseTitle(const std::string& file, std::string* title)
{
    std::size_t begin = file.find("");
    if (end == std::string::npos)//没有找到    
        return false;

    begin += std::string("