一.数据的分类
1.结构化数据：具有固定格式或长度的数据，如数据库等
2.非结构化数据：不定长无固定格式的数据，如磁盘上的文件等
二.非结构化数据查询方法
1.顺序扫描法：对每一个文档扫描查看是否包括需要扫描的字符串
2.全文搜索：将非结构化数据提取一部分出来，重新组织使其有一定结构，然后对结构数据进行搜索，从而达到搜索较快的目的，从非结构化数据中提取出的然后重新组织的信息，我们称为索引
三.为什么不直接通过数据库搜索？
1.性能上
（1）数据库：比如搜索商品select * from product where doctname like %keywords%，查询少量数据是可以的，但是随着数据量的增大，几万几十万条数据的时候，性能会极大的减弱
（2）lucene：全文索引，建立一个索引库，一次建立，多次使用。在索引库里面会把所有商品名根据分词器建立索引，就好比新华字典
2.相关度排序
（1）数据库：如果要实现，需要改变表结构，添加一个名次字段，查询时order by一下
（2）lucene：查询结果根据算法计算得分，得分越高排名越前（参考百度推广）
3.准确性
（1）数据库：通过like %...%模糊查询搜索出来的准确性不高
（2）lucene：通过索引查询，就像查字典一样，准确性较高
四.lucene
1.什么是lucene？
Lucene是apache下的开放源代码的全文检索引擎工具包。
包括（1）完整的查询引擎（2）完整的索引引擎（3）部分文本分析引擎
2.索引创建和查询流程
1.构建的文档对象Document包含一个一个的域（Field），eg：一个文件可看作一个document对象，而文件中的文件名，文件内容，文件大小等都被称作一个域。（不同的文档有不同的域，相同的文档可以有相同的域）
2.分析文档的过程：对文档提取单词，将字母转为小写，去除标点符号等生成词汇单元，可以将词汇单元理解为一个个的单词，每个单词叫一个term，不同的域中拆分出来的相同的单词是不同的term（term中包含两部分，一部分是文档内容，一部分是单词内容）
3.创建索引就是在索引库中创建索引和文档对象两部分的过程。索引部分存储term，对应的数量和对应的文档对象的id。这种索引结构也叫做反向索引（传统方法顺序查找文件中的内容，再在内容中查找关键字）
3.创建索引实现
//创建索引
public void testCreateIndex() throws IOException{
//指定索引库的存放位置Directory对象
Directory directory = FSDirectory.open(new File("E:\\programme\\test"));
//索引库还可以存放到内存中
//Directory directory = new RAMDirectory();
//指定一个标准分析器，对文档内容进行分析
Analyzer analyzer = new StandardAnalyzer();
//创建indexwriterCofig对象
//第一个参数： Lucene的版本信息，可以选择对应的lucene版本也可以使用LATEST
//第二根参数：分析器对象
IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, analyzer);
//创建一个indexwriter对象
IndexWriter indexWriter = new IndexWriter(directory, config);
//原始文档的路径
File file = new File("E:\\programme\\searchsource");
File[] fileList = file.listFiles();
for (File file2 : fileList) {
//创建document对象
Document document = new Document();
//创建field对象，将field添加到document对象中
//文件名称
String fileName = file2.getName();
//创建文件名域
//第一个参数：域的名称
//第二个参数：域的内容
//第三个参数：是否存储
Field fileNameField = new TextField("fileName", fileName, Store.YES);
//文件的大小
long fileSize = FileUtils.sizeOf(file2);
//文件大小域
Field fileSizeField = new LongField("fileSize", fileSize, Store.YES);
//文件路径
String filePath = file2.getPath();
//文件路径域（不分析、不索引、只存储）
Field filePathField = new StoredField("filePath", filePath);
//文件内容
String fileContent = FileUtils.readFileToString(file2);
//String fileContent = FileUtils.readFileToString(file2, "utf-8");
//文件内容域
Field fileContentField = new TextField("fileContent", fileContent, Store.YES);
document.add(fileNameField);
document.add(fileSizeField);
document.add(filePathField);
document.add(fileContentField);
//使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。
indexWriter.addDocument(document);
}
//关闭IndexWriter对象。
indexWriter.close();
}4.TermQuery（精准查询）
//搜索索引
@Test
public void testSearchIndex() throws IOException{
//创建一个Directory对象，指定索引库存放的路径
Directory directory = FSDirectory.open(new File("E:\\programme\\test"));
//创建IndexReader对象，需要指定Directory对象
IndexReader indexReader = DirectoryReader.open(directory);
//创建Indexsearcher对象，需要指定IndexReader对象
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//创建一个TermQuery（精准查询）对象，指定查询的域与查询的关键词
//创建查询
Query query = new TermQuery(new Term("fileName", "apache"));
//执行查询
//第一个参数是查询对象，第二个参数是查询结果返回的最大值
TopDocs topDocs = indexSearcher.search(query, 10);
//查询结果的总条数
System.out.println("查询结果的总条数："+ topDocs.totalHits);
//遍历查询结果
//topDocs.scoreDocs存储了document对象的id
//ScoreDoc[] scoreDocs = topDocs.scoreDocs;
for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
//scoreDoc.doc属性就是document对象的id
//int doc = scoreDoc.doc;
//根据document的id找到document对象
Document document = indexSearcher.doc(scoreDoc.doc);
//文件名称
System.out.println(document.get("fileName"));
//文件内容
System.out.println(document.get("fileContent"));
//文件大小
System.out.println(document.get("fileSize"));
//文件路径
System.out.println(document.get("filePath"));
System.out.println("----------------------------------");
}
//关闭indexreader对象
indexReader.close();
}
}