Boost搜索引擎项目

Boost搜索引擎项目

1.项目的相关背景

写在前面

在如今的信息时代下,检索信息成为几乎人人的"必需品",在此大背景下,出现了诸如百度,360,搜狗等大型的搜索引擎。

而我们想做一个和百度，360这样的搜索引擎是不切实际的。

1. 我们无法抓取全网信息并且保存，还要建立模型。
2. 我们的服务器是云服务器，没有这么高的性能。

基于此我们可以通过做一个微型的搜索引擎达到"管中窥豹"的效果,明晰搜索引擎的运行原理。

由于我们的服务器是很普通的，没有那么好的性能。所以我们选择做一个站内搜索，而我们选择的是c++中的boost库。因为boost的官方网站中是没有站内搜索的。这样我们就达到了明晰搜索引擎的运行原理的目的也达到了方便我们自己后续进行boost学习的目的。

Boost库简介

Boost库是为C++语言标准库提供扩展的一些C++程序库的总称，由Boost社区组织开发、维护。Boost库可以与C++标准库完美共同工作，并且为其提供扩展功能。

Boost库由Boost社区组织开发、维护。其目的是为C++程序员提供免费、同行审查的、可移植的程序库。Boost库可以与C++标准库完美共同工作，并且为其提供扩展功能。Boost库使用Boost License来授权使用，根据该协议，商业的非商业的使用都是允许并鼓励的。

期望结果

我们可以看看一些主流搜索引擎搜索布局(我们也将仿照编程实现)

2.搜索引擎的宏观原理

3.搜索引擎的技术栈和项目环境

技术栈：
	后端:C/C++,C++11,STL,boost准标准库,Jsoncpp,cppjieba,cpp-httplib
	前端:HTML5,CSS,JS,jQuery,Ajax

项目环境:
	Centos7云服务器,vim/gcc(g++)/Makefile, vs2019/Vscode

4.正排索引和倒排索引—>搜索引擎原理

样例

我们先举几个例子方便说明

文档一: 张三拿到了录取通知书。
文档二: 张三拿到了录取通知书，被奖励手机。

正排索引

正排索引就是根据文档ID找到文档内容(文档关键字)

文档ID	文档内容
1	张三拿到了录取通知书。
2	张三拿到了录取通知书，被奖励手机。

文档分词

为什么要进行分词呢？比如说我们搜索清华大学，页面不仅仅会显示清华大学还会显示和清华大学相关的内容。

文档分词目的: 方便查找与方便建立倒排索引

• 文档一: [张三拿到了录取通知书] —> 张三/拿到/录取/通知书 张三/拿到/录取通知书

• 文档二: [张三拿到了录取通知书，被奖励手机] —> 张三/拿到/录取/通知书/奖励/手机

  ​ 张三/拿到/录取通知书/奖励/手机

这里会发现我们进行分词时是省略了一些词的，我们省略的词是:暂停词/停止词

• ​ 了 的 啊 哦 哟 吗…

倒排索引

倒排索引就是根据文档内容进行分词，整理出文档不重复的所有关键字，最后对应到文档ID

文档关键字	文档ID (为了严谨我们还会根据权重(weight)进行最终拍板,这里先写出)
张三	文档1 文档2
拿到	文档1 文档2
录取	文档1 文档2
通知书	文档1 文档2
录取通知书	文档1 文档2
奖励	文档1
手机	文档1

模拟一次查找过程

用户输入: 录取通知书 —> 在倒排索引中查找 —> 找到了文档1 文档2 —> 根据正排索引查找 —> 找到相应文档内容 —> 文档结果摘要[title content url] —> 响应结果

5.数据的去标签与数据清洗

模块作用

该模块是我们将下载好的boost库文档原始文件按照需求进行提取并对提取的文件的标题,内容,网址进行处理

获取boost资源

进入官网 https://www.boost.org/

下载资源

在boost_1_81_0中不是所有文件我们都要，我们只要/boost_1_81_0/doc/html/*，所以要开始构建项目环境了

// 将下载好的boost库导入云服务器
rz -E
// 解包
unzip xzf boost_1_81_0.tar.tgz
// 在你安装的boost_1_81_0的目录下进行操作
mkdir -p data/SourceData      // 我们将我们所需要的文件拷贝放入进SourceData下
拷贝操作
cp -rf boost_1_81_0/doc/html/* data/SourceData (后面的符号是与前面形成了注释,复制前面的就可以了)*/ 
// 删除已经安装的boost_1_81_0.tar.tgz
rm -rf boost_1_81_0.tar.tgz

安装boost库

// 我们要用到boost库，所以我们要先安装
sudo yum install -y boost-devel
// 要引入的头文件
#include 

编写思路

所以我们最终只要[ 网页标题title + 网页内容content + 网址url ]，其它的我们都不要

//上述我们将需要的文件放入进了data/SourceData 中  ---> 这是原始的，没有经过我们处理的文件。
// 我们还需要创建目录保存我们处理之后的。
cd data
mkdir parser.html
touch parserdata.txt   // 我们最终处理好的数据就放入parserdata.txt中

// 我们怎样处理数据
在保存网页数据的时候,我们使用 '\3'作为分隔符 这是因为在ASCII表中 , 控制字符是不可显示字符, 即无法打印。在我们获取的文档内容(即data/SourceData中的html网页文件)中,里面基本上都是可打印字符,基本上不会有不可显示的控制字符。如此以来也就不会污染我们的文档内容啦。

parser.cpp的基本框架

// 目录
const std::string src_path = "data/SourceData";
const std::string output = "data/parser.html/parserdata.txt";

typedef struct DocInfo
{
        std::string title;      // 文件的标题
        std::string content;    // 文件内容
        std::string url;        // 文件的路径
}DocInfo_t;

int main()
{
     std::vector files_list;
     // 1: 递归的将每个html(文件名带路径)保存
     EnumFile(src_path,&files_list)
 
        // 2: 对每个文件的内容读取和解析
        std::vector results;
        ParseHtml(files_list,&results)
   
        // 3: 将解析完成的各个文件的内容写入进output
        SaveHtml(results,output)
    
      return 0;
   }

EnumFile接口的实现

bool EnumFile(const std::string& src_path, std::vector* files_list)
{
     namespace fs = boost::filesystem;
     fs::path root_path(src_path);
     // 路径是否存在
     if(!fs::exists(root_path))
     {
         return false;
       }
   
     // 判断递归是否结束
    fs::recursive_directory_iterator end;
     for(fs::recursive_directory_iterator iter(root_path); iter != end; iter++)
     {
         // 判断是否是普通文件
           if(!fs::is_regular_file(*iter))
                 continue;
   
             // 判断文件后缀是否是.html
           if(iter->path().extension() != ".html")
                continue;
   
           files_list->push_back(iter->path().string());
       }
  
       return true;
   }

ParseHtml接口实现

bool ParseHtml(const std::vector& files_list, std::vector* results)
{
    for(const std::string& file : files_list)
    {
        // 1: 读取文件
        std::string result;
        if(!ns_util::FileUtil::ReadFile(file,&result))
            continue;

        // 2: 解析指定的文件,提取title
        DocInfo_t doc;
        if(!ParseTitle(result,&doc.title))
            continue;

        // 3: 解析指定的文件,提取content
        if(!ParseContent(result,&doc.content))
            continue;

        // 4: 解析指定的文件路径,构建url
        if(!ParseUrl(file,&doc.url))
            continue;

        results->push_back(doc);
    }

    return true;
}

// 2: 解析指定的文件,提取title
static bool ParseTitle(const std::string& file, std::string* title)
{
    std::size_t begin = file.find("");
    if(end == std::string::npos)
      return false;

    begin += std::string("
    


    

        

            
            搜索一下
        
        

        
    
    

11.项目部署至云服务器

nohup ./http_server > log/log.txt 2>&1 &

12.项目展示

初始页面

搜索页面

13.项目源码