Lucene的初步了解和学习

Lucene的学习
一，什么是全文检索

1.数据的分类

　　1.结构化数据

　　　　格式固定，长度固定，数据类型固定。

　　　　例如：数据库中的数据；

　　2.非结构化数据

　　　　word文档，pdf文档，邮件，html，txt

　　　　格式不固定，长度不固定，数据类型也不固定

2.数据的查询

　　1，结构化数据的查询

　　　　Sql语句，查询结构化数据的方法。简单，速度快。

　　2.非结构化数据的查询

　　　　例如：从文本文件中找出包含spring的单词的文件

　　　　1.目测

　　　　2.使用程序代码来实现，把文件读取到内存中，匹配字符串，顺序扫描。

　　　　3.把结构化数据变成结构化数据

　　　　　　（先根据空格进行字符串拆分，得到一个单词列表，基于单词列表创建一个索引 ）　　

　　　　　　　索引：一个为了提高查询速度，创建某种数据结构的集合

　　　　　　　然后 查询索引，根据单词和文档对应关系找到文档列表，这个过程就叫全文检索

3.全文检索

　　先创建索引，然后查询索引的过程，就叫做全文检索。（创建索引时间较长，但是一次创建可以多次使用，平均每次查询的速度就提高了速度）

二,全文搜索的应用场景

1，搜索引擎

　　　　百度，360搜索，谷歌，搜狗

2，站内搜索

　　　　论坛搜索，微博搜索，文章搜索

3，电商搜索

　　　　淘宝搜索，京东搜索

4，只要是有搜索的地方，就可以使用到全文检索技术

三，什么是Lucene

　　Lucene是一个基于java开发的全文检索工具包，java开发中Lucene首选。

四，Lucene实现全文检索的流程。

1，创建索引

　　　　1）获得文档

　　　　　　　　原始文档：要基于那些数据来进行搜索，那么这些数据就是原始文档

　　　　　　　　搜索引擎：使用爬虫获得原始文档

　　　　　　　　站内搜索：数据库中的数据。使用jdbc到数据库中取

　　　　　　　　案列：直接使用io流读取磁盘上的文件。

　　　　2）构建文档对象

　　　　　　　　对应每个原始文档，来创建Document对象。

　　　　　　　　每个Document对象中包含多个域（Field）

　　　　　　　　域中保持原始文档的数据。

　　　　　　　　　　　域的名称；域的值；

　　　　　　　　　　　每个文档都有一个文档的编号，就是文档id

　　　　3）分析文档

　　　　　　　　就是分词的过程

　　　　　　　　1.根据空格进行拆分，得到一个单词列表

　　　　　　　　2.把单词统一转化成大写或者小写

　　　　　　　　3.去掉标点符号

　　　　　　　　4.去掉停用词（停用词：无意义的词；如：and）

　　　　　　　　每个关键词都封装成一个Term对象中，Term中包含两部分内容：关键词包含的域；关键词本身；（不同的域中拆分出来的关键词是不同的Term）

　　　　4）创建索引

　　　　　　　　基于关键词列表来创建一个索引，保存到磁盘中，保存到索引库中。

　　　　　　　　索引库中包含：

　　　　　　　　　　　　　　索引

　　　　　　　　　　　　　　Document对象

　　　　　　　　　　　　　　关键词和文档的对应关系

　　　　　　　　通过词语找文档，这种索引的结构就叫倒排索引结构

2，查询索引　

　　　　1)用户查询接口

　　　　　　　　用户输入查询条件的地方

　　　　　　　　例如：百度的搜索框

　　　　2）把关键词封装成一个查询对象

　　　　　　　　要查询的域

　　　　　　　　要搜索的关键词

　　　　3）执行查询

　　　　　　　　根据要查询的关键词到对应的域中进行搜索

　　　　　　　　找到关键词，根据关键词来找到对应的文档

　　　　4）渲染结果

　　　　　　　　根据文档的id找到文档的对象

　　　　　　　　对关键词进行高亮显示

　　　　　　　　分页显示

　　　　　　　　最终展示出给用户展示
五，入门程序
　　1，创建索引
　　　　　　环境：
　　　　　　　　需要下载Lucene
　　　　　　　　http://lucene.apache.org/
　　　　　　　　目前的版本lucene-7.4.0
　　　　　　　　最低要求jdk1.8版本
　　　　工程搭建：
　　　　　　　　创建一个java工程
　　　　　　　　添加jar：
　　　　　　　　lucene-analyzers-common-7.4.0.jar
　　　　　　　　lucene-cone-7.4.0.jar
　　　　　　　　commons-io.jar
　　　　　　步骤：
　　　　　　　　1，创建一个Directory对象，指定索引保存的位置
　　　　　　　　2，基于一个IndexReader对象
　　　　　　　　3，读取磁盘上的文件，对应每个文件创建一个文档对象
　　　　　　　　4，向文档对象中添加域
　　　　　　　　5，把文档对象写入索引库
　　　　　　　　6，关闭indexWriter对象

public void createIndex() throws Exception {
　　　　//1、创建一个Director对象，指定索引库保存的位置。
　　　　//把索引库保存在内存中
　　　　//Directory directory = new RAMDirectory();
　　　　//把索引库保存在磁盘
　　Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
　　　　//2、基于Directory对象创建一个IndexWriter对象
　　IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
　　IndexWriter indexWriter = new IndexWriter(directory, config);
　　　　//3、读取磁盘上的文件，对应每个文件创建一个文档对象。
　　File dir = new File("C:\\A0.lucene2018\\05.参考资料\\searchsource");
　　File[] files = dir.listFiles();
　　　　　　for (File f :files) {
　　　　//取文件名
　　String fileName = f.getName();
　　　　//文件的路径
　　String filePath = f.getPath();
　　　　//文件的内容
　　String fileContent = FileUtils.readFileToString(f, "utf-8");
　　　　//文件的大小
　　long fileSize = FileUtils.sizeOf(f);
　　　　//创建Field
　　　　//参数1：域的名称，参数2：域的内容，参数3：是否存储
　　Field fieldName = new TextField("name", fileName, Field.Store.YES);
　　　　//Field fieldPath = new TextField("path", filePath, Field.Store.YES);
　　Field fieldPath = new StoredField("path", filePath);
　　Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
　　　　//Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
　　Field fieldSizeValue = new LongPoint("size", fileSize);
　　Field fieldSizeStore = new StoredField("size", fileSize);
　　　　//创建文档对象
　　Document document = new Document();
　　　　//向文档对象中添加域
　　　  document.add(fieldName);
　　　  document.add(fieldPath);
　　　　document.add(fieldContent);
　　　　//document.add(fieldSize);
　　　　document.add(fieldSizeValue);
　　　　document.add(fieldSizeStore);
　　　　　　//5、把文档对象写入索引库
　　　　indexWriter.addDocument(document);
}
　　　　//6、关闭indexwriter对象
　　　　indexWriter.close();
}

　　

2，使用luke查看索引库中的内容（luke的使用对jdk版本有要求）
　　　　　　　　版本：luke-7.4.0（要求版本在jdk1.9）
3，查询索引库
　　　　　　步骤：
　　　　　　　　1，创建一个Directory对象，指定索引库的位置
　　　　　　　　2，创建一个IndexReader
　　　　　　　　3，创建一个IndexSearcher对象，构造方法中的参数indexReader对象
　　　　　　　　4，一个Query对象，TremQuery对象
　　　　　　　　5，执行查询，得到一个TopDocs对象
　　　　　　　　6，取查询结果的总记录数
　　　　　　　　7，取文档列表
　　　　　　　　8，打印文档中的内容
　　　　　　　　9，关闭IndexReader对象

public void searchIndex() throws Exception {
　　　　　　//1、创建一个Director对象，指定索引库的位置
　　Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
　　　　　　//2、创建一个IndexReader对象
　　IndexReader indexReader = DirectoryReader.open(directory);
　　　　　　//3、创建一个IndexSearcher对象，构造方法中的参数indexReader对象。
　　IndexSearcher indexSearcher = new IndexSearcher(indexReader);
　　　　　　//4、创建一个Query对象，TermQuery
　　Query query = new TermQuery(new Term("name", "spring"));
　　　　　　//5、执行查询，得到一个TopDocs对象
　　　　　　//参数1：查询对象 参数2：查询结果返回的最大记录数
　　TopDocs topDocs = indexSearcher.search(query, 10);
　　　　　　//6、取查询结果的总记录数
　　System.out.println("查询总记录数：" + topDocs.totalHits);
　　　　　　//7、取文档列表
　　ScoreDoc[] scoreDocs = topDocs.scoreDocs;
　　　　　　//8、打印文档中的内容
　　for (ScoreDoc doc : scoreDocs) {
　　　　　　//取文档id
　　int docId = doc.doc;
　　　　　　//根据id取文档对象
　　Document document = indexSearcher.doc(docId);
　　System.out.println(document.get("name"));
　　System.out.println(document.get("path"));
　　System.out.println(document.get("size"));
　　　　//System.out.println(document.get("content"));
　　System.out.println("-----------------寂寞的分割线");
　　}
　　　　//9、关闭IndexReader对象
　　indexReader.close();
}

　

六，分析器
默认使用的是标准分析器StandardAnalyzer
　　　　1，查看分析器的分析效果
　　　　使用Analyzer对象的tokenS他ream方法返回一个TokenStream对象，词对象包含最终分词结果
　　　　　　实现步骤：
　　　　　　　　1）创建一个Analyzer对象，StandrdAnalyzer对象
　　　　　　　　2）使用分析器对象的tokenStream方法获取一个TokenStream对象
　　　　　　　　3）向TokenStream对象中设置一个引用，相当于设置一个指针
　　　　　　　　4）调用TokenStream对象中的rest方法，如果不调用抛异常
　　　　　　　　5）使用while循环遍历TokenStream对象
　　　　　　　　6）关闭TokenStream对象

public void testTokenStream() throws Exception {
　　　　//1）创建一个Analyzer对象，StandardAnalyzer对象
　　　　// Analyzer analyzer = new StandardAnalyzer();
　　Analyzer analyzer = new IKAnalyzer();
　　　　//2）使用分析器对象的tokenStream方法获得一个TokenStream对象
　　TokenStream tokenStream = analyzer.tokenStream("", "公安局Lucene是一款高性能的、可扩展的信息检索(IR)工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。");
　　　　//3）向TokenStream对象中设置一个引用，相当于数一个指针
　　CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
　　　　//4）调用TokenStream对象的rest方法。如果不调用抛异常
　　tokenStream.reset();
　　　　//5）使用while循环遍历TokenStream对象
　　while(tokenStream.incrementToken()) {
　　System.out.println(charTermAttribute.toString());
　　}
　　　　//6）关闭TokenStream对象
　　tokenStream.close();
}

　　

2，IKAnalyze的使用方法
　　　　1）把IKAnalyze的jar包添加到工程中去
　　　　2）把配置文件和扩展词典添加到工程的classpath下
　　　　注意：扩展词典严禁使用windows记事本编辑，必须扩展词典的编码格式是utf-8
　　　　扩展词典：添加一些新词
　　　　停用词词典：无意义的词或者敏感词汇

public void createIndex() throws Exception {
　　　　//1、创建一个Director对象，指定索引库保存的位置。
　　　　//把索引库保存在内存中
　　　　//Directory directory = new RAMDirectory();
　　　　//把索引库保存在磁盘
　　Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
　　　　//2、基于Directory对象创建一个IndexWriter对象
　　IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
　　IndexWriter indexWriter = new IndexWriter(directory, config);
　　　　//3、读取磁盘上的文件，对应每个文件创建一个文档对象。
　　File dir = new File("C:\\A0.lucene2018\\05.参考资料\\searchsource");
　　File[] files = dir.listFiles();
　　for (File f : files) {
　　//取文件名
　　String fileName = f.getName();
　　　　//文件的路径
　　String filePath = f.getPath();
　　　　//文件的内容
　　String fileContent = FileUtils.readFileToString(f, "utf-8");
　　　　//文件的大小
　　long fileSize = FileUtils.sizeOf(f);
　　　　//创建Field
　　　　//参数1：域的名称，参数2：域的内容，参数3：是否存储
　　Field fieldName = new TextField("name", fileName, Field.Store.YES);
　　　　//Field fieldPath = new TextField("path", filePath, Field.Store.YES);
　　Field fieldPath = new StoredField("path", filePath);
　　Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
　　　　//Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
　　　　Field fieldSizeValue = new LongPoint("size", fileSize);
　　Field fieldSizeStore = new StoredField("size", fileSize);
　　　　//创建文档对象
　　Document document = new Document();
　　　　//向文档对象中添加域
　　document.add(fieldName);
　　document.add(fieldPath);
　　document.add(fieldContent);
　　　　//document.add(fieldSize);
　　document.add(fieldSizeValue);
　　document.add(fieldSizeStore);
　　　　//5、把文档对象写入索引库
　　indexWriter.addDocument(document);
}
　　　　//6、关闭indexwriter对象
　　indexWriter.close();
}

　　

七，索引库的维护
1，添加文档

 

private IndexWriter indexWriter;

　　@Before
public void init() throws Exception {
　　　　//创建一个IndexWriter对象，需要使用IKAnalyzer作为分析器
　　indexWriter =
　　　　new IndexWriter(FSDirectory.open(new File("C:\\temp\\index").toPath()),
　　　　new IndexWriterConfig(new IKAnalyzer()));
}

　　@Test
public void addDocument() throws Exception {
　　　　//创建一个IndexWriter对象，需要使用IKAnalyzer作为分析器
　　IndexWriter indexWriter =
　　new IndexWriter(FSDirectory.open(new File("C:\\temp\\index").toPath()),
　　new IndexWriterConfig(new IKAnalyzer()));
　　　　//创建一个Document对象
　　Document document = new Document();
　　　　//向document对象中添加域
　　document.add(new TextField("name", "新添加的文件", Field.Store.YES));
　　document.add(new TextField("content", "新添加的文件内容", Field.Store.NO));
　　document.add(new StoredField("path", "c:/temp/helo"));
　　　　// 把文档写入索引库
　　indexWriter.addDocument(document);
　　　　//关闭索引库
　　indexWriter.close();
}

　　@Test
public void deleteAllDocument() throws Exception {
　　　　//删除全部文档
　　indexWriter.deleteAll();
　　　　//关闭索引库
　　indexWriter.close();
}

　　@Test
public void deleteDocumentByQuery() throws Exception {
　　indexWriter.deleteDocuments(new Term("name", "apache"));
　　indexWriter.close();
}

　　

2，删除文档
1）删除全部

　　@Test
public void deleteAllDocument() throws Exception {
　　　　//删除全部文档
　　indexWriter.deleteAll();
　　　　//关闭索引库
　　indexWriter.close();
}

　　

2）根据查询，关键词删除文档

　　@Test
public void deleteDocumentByQuery() throws Exception {
　　　　indexWriter.deleteDocuments(new Term("name", "apache"));
　　indexWriter.close();
}

　　

3，修改文档
　　修改的原理是先删除后添加

　　@Test
public void updateDocument() throws Exception {
　　　　//创建一个新的文档对象
Document document = new Document();
　　　　//向文档对象中添加域
　　document.add(new TextField("name", "更新之后的文档", Field.Store.YES));
　　document.add(new TextField("name1", "更新之后的文档2", Field.Store.YES));
　　document.add(new TextField("name2", "更新之后的文档3", Field.Store.YES));
　　　　//更新操作
　　indexWriter.updateDocument(new Term("name", "spring"), document);
　　　　//关闭索引库
　　indexWriter.close();
}

　　

八，索引库查询
　　　　1，使用Query的子类
　　　　　　1）TermQuery
　　　　　　　　根据关键词进行查询
　　　　　　　　需要指定查询的域以及要查询的关键字

　　　　　　2）RangeQuery
范围查询

　　　　private IndexReader indexReader;
　　　　private IndexSearcher indexSearcher;
　　　　@Before
public void init() throws Exception {
　　　　indexReader = DirectoryReader.open(FSDirectory.open(new File("C:\\temp\\index").toPath()));
　　　　indexSearcher = new IndexSearcher(indexReader);
}

　　@Test
public void testRangeQuery() throws Exception {
　　　　　　//创建一个Query对象
　　　　Query query = LongPoint.newRangeQuery("size", 0l, 100l);
　　　　printResult(query);
}

　　　　private void printResult(Query query) throws Exception {
　　　　　　//执行查询
　　　　TopDocs topDocs = indexSearcher.search(query, 10);
　　　　System.out.println("总记录数：" + topDocs.totalHits);
　　　　ScoreDoc[] scoreDocs = topDocs.scoreDocs;
　　　　for (ScoreDoc doc:scoreDocs){
　　　　　　//取文档id
　　　　int docId = doc.doc;
　　　　　　//根据id取文档对象
　　　　Document document = indexSearcher.doc(docId);
　　　　System.out.println(document.get("name"));
　　　　System.out.println(document.get("path"));
　　　　System.out.println(document.get("size"));
　　　　　　//System.out.println(document.get("content"));
　　　　System.out.println("-----------------寂寞的分割线");
}
　　　　indexReader.close();
}

　　

2，使用QueryPaser进行查询
　　　　　　可以要对查询的内容先分词，然后基于分词的结果进行扫描
　　　　　　添加一个jar包
　　　　　　luncene-queryparser-7.4.0.jar

　　　　@Test
public void testQueryParser() throws Exception {
　　　　//创建一个QueryPaser对象，两个参数
　　QueryParser queryParser = new QueryParser("name", new IKAnalyzer());
　　　　//参数1：默认搜索域，参数2：分析器对象
　　　　//使用QueryPaser对象创建一个Query对象
　　Query query = queryParser.parse("lucene是一个Java开发的全文检索工具包");
　　　　//执行查询
　　printResult(query);
}