API文档搜索引擎

导航小助手

一、认识搜索引擎

二、项目目标

三、模块划分

四、创建项目

五、关于分词

六、实现索引模块

6.1 实现 Parser类

6.2 实现 Index类

6.2.1 创建 Index类

6.2.2 创建DocInfo类

6.2.3 创建 Weight类

6.2.4 实现 getDocInfo 和 getInverted方法

6.2.5 实现 addDoc方法

6.2.6 实现save方法

6.2.7 实现 load方法

6.3 在 Parser 中调用 Index

6.3.1 新增 Index实例

6.3.2 修改 parseHTML方法

6.3.3 新增save方法的调用

6.4 验证索引模块

6.5 优化制作索引速度

七、实现搜索模块

7.1 创建 DocSearcher类

7.1.1 创建 Result类

7.1.2 实现 search方法

7.1.3 验证 DocSearcher类

7.1.4 修改 Parser类

八、实现Web模块

---

一、认识搜索引擎

关于搜索引擎，平时的时候都是用的比较多，如：百度、搜狗、谷歌等搜索引擎，但是并没有仔细的观察过~

以搜狗搜索为例，我们打开搜狗搜索，就会发现，有一个搜索主页，并且有一个搜索框，我们可以在搜索框中搜索 想要知道的内容，点击 搜索，就可以查找搜索结果的页面~

搜索引擎 的核心功能，就是查找到 一组和用户输入的查询词（或者是一句话），所相关联的网页~

通过观察可以发现，对于每一条搜索结果，都会显示该搜索结果的 标题、描述、展示url等属性（虽然有的结果样式上可能会更复杂，但是还是会有 标题、描述、展示url属性），当我们点击一条搜索记录的时候，就跳转到相应的页面（称之为 落地页）~

---

搜索引擎的核心实现思路：

搜索引擎的核心目的是：在很多很多的网页中 找到和查询词相关联的内容~

那么，对于一个搜索引擎来说，首先需要获取到很多的网页，然后再根据用户输入的查询词，在这些网页中进行查找~

这就涉及到了几个问题：

1. 搜索引擎的网页是怎么获取到的（此处主要是涉及到 "爬虫" 程序，此处不过多介绍）
2. 用户输入查询词之后，如何让查询词和当前的这些网页进行匹配呢（这个是重点）

假设 当前已经爬取到了 1亿 个网页(html文件)，用户输入了一个 "蛋糕"查询词，此时如果使用的是 "暴力搜索"的话，那么就需要把 "蛋糕"这个字符串 在这1亿个网页里面进行查找，那肯定是效率很低的（特别是对于搜索引擎来说，我们都希望 再进行搜索之后，会立刻出现我们所要查找的结果）~

因此为了更加高效的解决这个问题，大佬们专门设计了一种特殊的数据结构 —— 倒排索引~

---

需要知道的知识：

举个例子：

在日常的生活中，我们也会有所体会（就比如说在 玩王者荣耀的时候）：

二、项目目标

像搜索引擎这样的程序，是一个很复杂的程序，很难做出像百度、搜狗一样的规模庞大的搜索引擎，所以可以简化一下目标：可以做一个针对 Java API文档的搜索引擎~

通过观察可以发现，官方文档上面并没有一个搜索框，所以想要去查找某个类，但又不知道这个类在哪个包里，就会显得很麻烦~ 

因此就可以实现这样一个站内搜索引擎，让用户输入一些查询词，之后就可以找到相关的文档页面~

---

获取Java文档： 

要想实现这个项目，首先就需要把相关的网页文档给获取到，然后才可以继续接下来的过程~

相关网页在 oracle官方网站上面，想要把上面所有的页面获取到，并不是一件很容易的事情~

虽然说，可以通过 "爬虫"技术，把这些文档获取到，但是 "爬虫"技术 还没有学到（听说 实现"爬虫"程序 会存在法律风险的），所以就暂时放弃这个方法~

针对于 Java API文档 来说，还有更加简单的方法 —— 可以直接从官网上直接下载，因此就不必通过爬虫来实现~

Java API文档 线上版本：https://docs.oracle.com/javase/8/docs/api/index.html

Java API文档 线下版本 下载地址：https://www.oracle.com/java/technologies/downloads/

三、模块划分

1）索引模块

• 扫描下载到的文档，分析文档内容，构建出 正排索引+倒排索引，并且把索引内容保存到文件中~
• 加载制作好的索引，并提供一些API实现查正排和查倒排这样的功能~

2）搜索模块

• 调用索引模块，实现一个搜索的完整过程~
• 输入：用户的查询词；输出：完整的搜索结果（包含了很多条记录，每个记录有 标题、描述、展示url，并且点击可以跳转）~

3）Web模块

• 需要实现一个简单的 web程序，能够通过网页的形式和用户进行交互~

四、创建项目

 

五、关于分词

用户在搜索引擎中，输入的查询词，不一定真的只是一个词，也有可能是一句话：

由上面的搜索结果我们可以知道，先针对完整的句子进行分词，然后根据每个词的分词结果，分别找到相关的文档~

针对 "分词"操作，人是非常容易完成的；但是对于机器来说，这就困难很多；英文的话还好，有空格就可以了，但是中文博大精深，额，就非常的哇塞了~

比如说，"我一把把车把把住"，"小龙女也想过过过儿过过的生活"，"下雨天留客天留我不留" ~

好在，我们要想实现这个分词效果，就可以基于一些现成的第三方库，从而实现分词效果~

---

分词实现原理

虽然说，我们现在使用的是第三方库，并不是自己实现分词逻辑，但是还是需要了解一下 分词的原理~

第一种情况：基于词库！

        以汉语为例，虽然说，汉字很多，但是仍然是可以尝试着把所有的词都穷举在一本词典文件中，然后就可以依次的取句子中的内容：如：每隔一个字，就在词典里查一下；每隔两个字，查一下；......

        但是，这并不能把所有的词都穷举出来，而且 随着时间的推移，也会产生越来越多的新词，......，关是基于词库，并不能分出所有的词~

第二种情况：基于统计！

        利用这种方法，收集很多很多的 "语料库"（如：现有的一些文章、资料等等），接着就可以进一步进行人工标注/或者是直接统计，接着就进一步的知道了哪些词 成词的情况比较高（就类似于根据用户的习惯）~

分词的实现，就是属于 "人工智能" 典型应用的场景 ~

---

使用第三方库：

在Java中可以实现分词的第三方库 也是有很多的，在这里我们可以使用 ansj分词库~

        
        
        
            org.ansj
            ansj_seg
            5.1.6
        

示例：

   public static void main(String[] args) {
        //准备一个比较长的话，用来分词(中文分词)
        String str1 = "人终将被少年不可得之物困其一生，但也终会因一事一景解开一生困惑";
        List terms1 = ToAnalysis.parse(str1).getTerms();
        for (Term term1 : terms1) {
            System.out.print(term1.getName() + '/');
        }
        System.out.println();
        //英文分词(会把大写字母转换成小写字母)
        String str2 = "I have a dream!";
        List terms2 = ToAnalysis.parse(str2).getTerms();
        for (Term term2 : terms2) {
            System.out.print(term2.getName() + ' ');
        }
    }

结果：

六、实现索引模块

6.1 实现 Parser类

创建一个Parser类，通过这个类来完成制作索引的过程~

Parser：读取之前下载好的离线文档，去解析文档的内容，并完成索引的制作！ 

import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;

public class Parser {
    //指定加载文档的路径
    private static final String INPUT_PATH = "E:/doc_searcher_index/jdk-8u361-docs-all/docs/api/";

    private void run() {
        //整个Parser类的入口
        //1、根据上面指定的路径，枚举出该路径中所有的 html文件(包括子目录中的文件)
        //2、针对上面罗列出文件的路径，打开文件，读取文件内容，并进行解析，并构建索引
        //3、todo 把在内存中构造好的索引数据结构，保存到指定的文件中

        ArrayList fileList = new ArrayList<>();
        enumFile(INPUT_PATH,fileList);
        /**
         * System.out.println(fileList);
         * System.out.println(fileList.size());
         */

        for (File f:fileList) {
            //通过parseHTML()方法解析 .html文件
            System.out.println("开始解析：" + f.getAbsolutePath());
            parseHTML(f);
        }

    }

    /**
     * 解析 .html文件 的方法
     * @param f
     */
    private void parseHTML(File f) {
        //解析 标题
        String title = parseTitle(f);
        //解析 url
        String url = parseUrl(f);
        //解析 对应的正文(描述 是正文的一小部分，先解析出来正文，然后才可以获取到 描述)
        String content = parseContent(f);

        //todo 把解析出来的这些信息，加入到索引当中
    }

    /**
     * 通过观察，可以发现，在 .html文件中，