Boost搜索引擎的实现

Boost搜索引擎项目

1.项目的相关背景

• 这里是基于boost文档所实现的站内搜索引擎，站内搜索它的数据更垂直，数据量更小
• 一般搜索引擎搜索出来的相关数据一般含有：网页标签(title),网页内容的概要，即将要跳转的网页URL
• Boost的官方库中是没有站内搜索功能的

2.搜索引擎的相关宏观原理

3.搜索引擎技术栈和项目环境

• 技术栈:C/C++，STL，准标准库，Boost库，Jsoncpp(客户端和服务器端进行交互的时候所需要进行序列化和反序列化)，cppjieba(给搜索关键字进行分词)，cpp-httplib(一个开源的http的开源库，可以直接构建http服务器) html5，css，js，jQuery，Ajax
• 项目环境：Centos 7云服务器，vim/g++/Makefile,vscode/vs2019

4.正排索引vs倒排索引 -搜索引擎具体原理

正排索引：就是从文档ID找到文档内容(文档内的关键字)

文档ID	文档内容
1	新海诚上映了新电影
2	新海诚的新电影是铃芽户缔

对目标文档进行分词(目的：方便建立倒排索引和查找)：

• 文档1：新海诚/上映/了新电影
• 文档2：新海诚/的新电影/是/铃芽户缔

停止词：了，的，吗，a，the，一般我们在分词的时候可以不考虑

倒排索引：根据文档内容，分词，整理不重复的各个关键字，对应联系到文档ID的方案

关键字(具有唯一性)	文档ID,weight(权重高的在前)
新海诚	文档1,2
上映	文档1
新电影	文档1,2
铃芽户缔	文档2

这样就可以模拟一次查找的过程：

用户输入：新海诚-->倒排索引中查找-->找到之后提取出文档ID(1,2)-->根据正排索引--->找到文档内容 -->title+conent(desc) +url 文档结果进行摘要--->构建响应结果

5.编写数据去标签与数据清洗的模块 Parser(分析器)

boost官网：https://www.boost.org/
//目前只需要boost_1_81_0/doc/html目录下的html文件，用它来建立索引

之所以选doc/html文件也是因为官网之中绝大部分使用的都是这里面的文件

理解什么是标签，以及去标签的目标

[xifeng@VM-16-14-centos MyBoostSearch]$ touch parser.cc
//想要做数据处理就需要有原始数据-->去标签之后的数据
//标签也就是<>之中包含的，标签对搜索没有价值，需要被去除
//一般标签都是成对出现的

//html放的是原始文档
[xifeng@VM-16-14-centos data]$ html
[xifeng@VM-16-14-centos data]$ purify_html
//去除掉标签之后的html我们保存在puritf_html中(puritf提纯/去除)
[xifeng@VM-16-14-centos html]$ ls -Rl | grep -E '*.html' | wc -l
8429 //一共有8429个html文件
目标: 把每个文档都去标签，然后写入到同一个文件中，文档内容不需要换行(\n)，文档和文档之间用\3区分
类似于：xxxxxxx\3xxxxxxxxx\3xxxxxxxxxxxx\3 但是这种方法虽然可行，可是后续处理的时候会比较麻烦，因为还需要去区分title,content,url的内容
---------------------------------------------------
所以我选择的是这种操作：title\3content\3url \n title\3content\3url \n....
就是同一个文档之间不同的数据之间采用\3来区分，文档文档之间采用\n来区分,这样既可以通过getline获取到一个文档的全部信息，又方便区分文档中的不同信息

之所以选择\3也是有一定的理由的：首先是因为它是控制字符，不会显示到文件中，其次就是\3也有正文结束的意思

编写Parser

• 首先在purify_html中创建了一个文本文件purify.txt用来保存清洗之后的数据

主要有三大块：

1. 首先要将所有的文件给拿到，可以将带路径的文件名存放到一个数组中(Enum File通过这个函数来枚举各个文件的路径）

2. 其次就是对文件进行读取和解析(Parser File通过这个函数来解析)

   • 解析数据要解析成什么样子的呢

   • 可以定义一个结构体

     typedef struct Docinfo
     {
     	std::string title;//标签
         std::string content;//内容
         std::string url;//官网所对应的url
     }Docinfo_t;
     

3. 最后就是将解析到的数据存放在purity.txt中(Save Data通过这个函数来存储数据)

//代码的大致框架
#include
#include
#include
#include
const std::string src_path = "./data/html";
const std::string save_path= "./data/purify_html/purify.txt";
typedef struct Docinfo
{
  std::string title;//文档的标签
  std::string content;//文件的内容
  std::string url; //文件对应官网中的url
}Docinfo_t;
//注意:输入型参数我使用：const &
//输出型参数：*
//输入输出型参数：&
bool EnumFile(const std::string& src_path,std::vector* file_list);
bool ParserFile(const std::vector& file_list,std::vector* data_list);
bool SaveData(const std::string& save_path,const std::vector& data_list);
int main()
{
  //第一步：获取到文件中的所有的html路径，并将其存放到一个数组当中
  std::vector file_list;//文件列表
  if(!EnumFile(src_path,&file_list))
  {
    //如果遍历失败，后续就没有意义了，直接退出
    std::cerr<<"EnumFile error"< data_list;//数据列表
  if(!ParserFile(file_list,&data_list))
  {
    //同样解析失败也就是退出
    std::cerr<<"ParserFile error"<

boost开发库的安装

sudo yum install -y boost-devel，我安装的是1.53版本的boost库，这意味的是用1.53的库去写代码，我搜索的文档还是1.81的文档，这两个并不冲突

EnumFile的实现

• 首先需要通过boost库了解一些相关的接口，这里对文件的操作使用的是boost库中提供的filesystem(头文件：)

• 在官方文档的使用样例中，对于命名空间这一块他使用的是namespace fs = boost::filesystem;，所以在我的代码中也就不全局放开了，与文档保持一致，在使用的时候通过域作用限定符去写，不去无脑放开还是很有好处的，能很大程度的减少接口上的冲突

  //一下是需要了解的部分类或者接口
  //path类里面定义了一个root_path
  path root_path() const;
  Returns: root_name() / root_directory()
  -----------------------------------------
  path operator/ (const path& lhs, const path& rhs);
  Returns: path(lhs) /= rhs.
  // /=是被重载了的,作用：将优选目录分隔符附加到包含的路径名，除非：
  //一个添加的分离器将是多余的，或者会将相对路径更改为绝对路径，或P.Empty（）或*p.native（）。cbegin（）是目录分离器。
  //root_name() 如果包含根名则返回根名
  //root_directory() 如果包含根目录返回根目录 
  ------------------------------------------
  //exists用来判断文件是否存在
  bool exists(const path& p);
  //递归遍历
  Class recursive_directory_iterator
  //类型的对象提供标准库 对目录内容进行合规迭代，包括递归到其子目录
  //进行迭代的时候需要考虑要遍历的文件必须是普通文件，必须是.html的，所以这就需要对文件名进行筛选
  //判断是否是常规文件
  bool is_regular_file(const path& p);
  //用来判断后缀的是path类内部的一个成员函数
  path extension(const path& p) const;
  //可以看一下文档举的例子
  std::cout << path("/foo/bar.txt").extension(); // outputs ".txt"
  //这里可以发现调用返回的是".txt",这样就可以进行判断
  //当判断完之后我们就需要将其push到存放地址的数组中去，path类中提供了一个string方法
  template 
  String string(const codecvt_type& cvt=codecvt()) const;
  //返回的是string类型的路径
  

EnumFile具体的实现：

#Makefile编写时，如果不加 -lboost_system和-lboost_filesystem会报错的
#因为boost不是标准库，第三方库链接时需要指明库名称
cc=g++
parser:parser.cc
  $(cc) -o $@ $^ -std=c++11 -lboost_system -lboost_filesystem            .PHONY:clean                                                  
clean:
  rm -rf parser

//作用类似于typedef,跟文档样例保持一致，写代码时最好不要遇到命名空间就全部展开
namespace fs = boost::filesystem;
bool EnumFile(const std::string& src_path,std::vector* file_list)
{
  //boost库中定义的成员，简单理解就是将我们传入的字符串转换成boost能够识别的路径
  fs::path root_path(src_path);
  if(!exists(root_path))
  {
    //代表目标文件不存在
    return false;
  }
  //到这里就是已经找到了目标文件，可以进行迭代查找了
  fs::recursive_directory_iterator end;//定义一个结束的迭代器
  //构建一个从root_path开始的迭代器
  for(fs::recursive_directory_iterator it(root_path);it!= end;++it)
  {
    //要查找首先得是一个普通文件
    if(!fs::is_regular_file(*it))
    {
      continue;
    }
    //其次需要的是.html后缀的文件
    if(!(it->path().extension()==".html"))
    {
      continue;
    }
    //到这里就是后缀名为.html的普通文件了，将其存放进vector即可
    //如果直接push_back(*it)是不正确的，因为那个已经不是string类型了
    //我们可以通过boost提供的string接口来将其转化一下
    file_list->push_back((it->path()).string());
  }
  return true;
}

Parser File的实现

总体思路：首先已经拿到了所有的带路径的文件名，接下来要做的就是对这些文件进行遍历，打开每一个文件进行读写，将其解析成Docinfo_t这样的结构将其插入到vector中

打开对应的文件

• 首先需要了解几个相关函数，在c++中对于文件操作的头文件是#include
• ifstream是输入流，其构造函数explicit ifstream (const char* filename, ios_base::openmode mode = ios_base::in); 注意一下ios和ios_base没有区别，都可以用
• open和close分别对应着打开文件和关闭文件；void open (const char* filename, ios_base::openmode mode = ios_base::in); void close();
• is_open是判断文件是否被打开bool is_open();
• getline是按行读取，需要将读到的字符拼接成一个长字符串istream& getline (istream& is, string& str);

//以下是具体代码
//这里对c++提供的接口进行了简单的封装
bool Open(const std::string &file_path, std::string *out)
{
     std::ifstream in(file_path, std::ios_base::in);
     if (!in.is_open()) // 如果文件没有被打开则返回false
     {
        // 文件如果打开失败打印失败的文件名
        std::cerr << "Open file error:" << file_path << std::endl;
        return false;
     }
    //文件能够被成功打开
    std::string str;
    //理解getline读取到文件结尾：getline的返回值是一个&，while判断的是一个bool类型，本质就是返回的类型中重载了强制类型转换
    while(std::getline(in,str))//按行读，最后拼接在一起
   	{
       *out +=str;
    }
    in.close();
   	return true;
}

提取title

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ADIrHGnD-1679760493442)(C:/Users/yangyr0206/AppData/Roaming/Typora/typora-user-images/image-20230314143742011.png)]

• 通过STL容器string提供的find函数可以去查找字符串"之间的数据 size_t begin = result.find(""); if (begin == std::string::npos || end == std::string::npos || begin > end) { std::cerr << "find error" << std::endl; return false; } // 两个都找到了，且begin < end begin += 7;//为了跳过