solr-企业级搜索应用服务器
目录
- 1.solr简介
- 2. 倒排索引
- 3. lucene API 介绍
- 4. solr 安装
- 中文分词工具 - ik-analyzer
- 5. 连接mysql
- 从 mysql 导入商品数据
- 查询测试
- 6.实践
1.solr简介
其实我们几乎都在用，比如你用的淘宝，京东，百度等大型网站
看一下百度的
再看一下京东的
很多人其实也会有一种疑问，他们的搜索为啥这么快呢？它又是通过什么技术实现的呢？
在普通项目中，我们的搜索功能很普遍，就是通过某一字段进行模糊查询数据库表数据，有多个字段的话还得整个类型选择，有没有感觉很繁琐。尤其电商平台的交易量和产品量巨大，一旦搜索就会增加搜索的压力，要是考虑有一定量的并发呢？可想而知，网站不崩也算是一种幸运
由此这也就成为了搜索需要转移到外部的搜索服务器的原因。solr具体是啥呢？
Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。
lucene
Lucene是apache jakarta项目的一个子项目，是一个开放源代码的全文检索引擎开发工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
2. 倒排索引
简介：
倒排索引是以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。
举个例子：
我们一般情况下,先找到文档,再在文档中找出包含的词;
倒排索引则是这个过程反过来,用词,来找出它出现的文档.
实际举例
| 文档编号 | 文档内容 |
|---|---|
| 1 | 全文检索引擎工具包 |
| 2 | 全文检索引擎的架构 |
| 3 | 查询引擎和索引引擎 |
分词结果
| 文档编号 | 分词结果集 |
|---|---|
| 1 | {全文,检索,引擎,工具,包} |
| 2 | {全文,检索,引擎,的,架构} |
| 3 | {查询,引擎,和,索引,引擎} |
倒排索引
| 编号 | 单词 | 文档编号列表 |
|---|---|---|
| 1 | 全文 | 1,2 |
| 2 | 检索 | 1,2 |
| 3 | 引擎 | 1,2,3 |
| 4 | 工具 | 1 |
| 5 | 包 | 1 |
| 6 | 架构 | 2 |
| 7 | 查询 | 3 |
| 8 | 索引 | 3 |
说明：
每个字或词对应的文档数量是动态变化的，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字所对应的所有文档，所以效率高于正排表。在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。
3. lucene API 介绍
创建一个maven项目：
pom.xml依赖引入：
org.apache.lucene</groupId>
lucene-core</artifactId>
8.0.0</version>
</dependency>
junit</groupId>
junit</artifactId>
4.12</version>
</dependency>
org.apache.lucene</groupId>
lucene-analyzers-smartcn</artifactId>
8.0.0</version>
</dependency>
</dependencies>
创建测试类,添加以下代码：
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;
import java.io.File;
public class Test1 {
String[] a = {
"3, 华为 - 华为电脑, 爆款",
"4, 华为手机, 旗舰",
"5, 联想 - Thinkpad, 商务本",
"6, 联想手机, 自拍神器"
};
@Test
public void test1() throws Exception {
//存储索引文件的路径
File path = new File("d:/abc/");
FSDirectory d = FSDirectory.open(path.toPath());
//lucene提供的中文分词器
SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();
//通过配置对象来指定分词器
IndexWriterConfig cfg = new IndexWriterConfig(analyzer);
//索引输出工具
IndexWriter writer = new IndexWriter(d, cfg);
for (int i = 0; i < a.length; i++) {
String[] strs = a[i].split(",");
//创建文档,文档中包含的是要索引的字段
Document doc = new Document();
doc.add(new LongPoint("id", Long.parseLong(strs[0])));
doc.add(new StoredField("id", Long.parseLong(strs[0])));
doc.add(new TextField("title", strs[1], Field.Store.YES));
doc.add(new TextField("sellPoint", strs[2], Field.Store.YES));
//将文档写入磁盘索引文件
writer.addDocument(doc);
}
writer.close();
}
}
启动程序创建索引文件
查看索引
luke是索引查看工具，下载一下：https://github.com/DmitryKey/luke/releases
注意luke的版本要和你用的lucene的版本要一致
或者下载源码，自己用maven命令进行打包即可。
源码地址：https://github.com/lmy1965673628/luke.git
找到jar包，运行即可，打开索引的存放位置
指定分词器,并测试分词
查询测试
输入名称，进行查询，可以看到下方会显示所有符合条件的内容
id的查询
id要改成long类型，是因为程序中存储的时候是long类型
我们改改条件，改为id=5,看一下结果。
从索引查询
在测试类中添加 test2() 测试方法
@Test
public void test2() throws Exception {
//索引数据的保存目录
File path = new File("d:/abc");
FSDirectory d = FSDirectory.open(path.toPath());
//创建搜索工具对象
DirectoryReader reader = DirectoryReader.open(d);
IndexSearcher searcher = new IndexSearcher(reader);
//关键词搜索器,我们搜索 "title:华为"
TermQuery q = new TermQuery(new Term("title", "华为"));
//执行查询,并返回前20条数据
TopDocs docs = searcher.search(q, 20);
//遍历查询到的结果文档并显示
for (ScoreDoc scoreDoc : docs.scoreDocs) {
Document doc = searcher.doc(scoreDoc.doc);
System.out.println(doc.get("id"));
System.out.println(doc.get("title"));
System.out.println(doc.get("sellPoint"));
System.out.println("--------------");
}
}
运行看一下结果：对比一下luke工具查询的结果
4. solr 安装
下载地址：http://archive.apache.org/dist/lucene/solr/8.0.0/
我放在Linux上，所以下载Linux版本的
把文件传到 /home目录下
解压 solr
cd /home
# 上传 solr-8.0.0.tgz 到 /usr/local 目录
# 并解压缩
tar -xzf solr-8.0.0.tgz
启动 solr
cd /home/solr-8.0.0
# 不建议使用管理员启动 solr,加 -force 强制启动
bin/solr start -force
#若防火墙已开
# 开放 8983 端口
firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload
浏览器访问 solr 控制台
http://服务器ip:8983
创建 core
看一下我的数据库
数据库中 pd_item 表中的商品数据, 在 solr 中保存索引数据, 一类数据, 在 solr 中创建一个 core 保存索引数据
创建一个名为 pd 的 core, 首先要准备以下目录结构:
# solr目录/server/solr/
# pd/
# conf/
# data/
cd /usr/local/solr-8.0.0
mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data
conf 目录是 core 的配置目录, 存储一组配置文件, 我们以默认配置为基础, 后续逐步修改
复制默认配置
cd /usr/local/solr-8.0.0
cp -r server/solr/configsets/_default/conf server/solr/pd
创建名为 pd 的 core
中文分词测试
填入以下文本, 观察分词结果:
Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。
中文分词工具 - ik-analyzer
https://github.com/magese/ik-analyzer-solr
下载的是源码，需要自己进行打包，传到 solr目录 /server/solr-webapp/webapp/WEB-INF/lib
切记，打包前需要对应好版本
下载 所需的文件，我整理好了
链接：https://pan.baidu.com/s/1xSfUi9C5LpN98aUQL8eI6A
提取码：d7k4
将文件里的所有jar包复制到/server/solr-webapp/webapp/WEB-INF/lib
将其他文件复制到 solr目录 /server/solr-webapp/webapp/WEB-INF/classes
如果没有classes文件夹就创建一个
配置 managed-schema
修改 solr目录/server/solr/pd/conf/managed-schema,在文件最后添加 ik-analyzer 分词器
<!-- ik分词器 -->
"text_ik" class="solr.TextField">
type="index">
class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
type="query">
class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
重启 solr 服务
cd /usr/local/solr-8.0.0
bin/solr restart -force
使用 ik-analyzer 对中文进行分词测试
填入以下文本, 选择使用 text_ik 分词器, 观察分词结果:
Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。
设置停止词
上传停止词配置文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes
stopword.dic
stopwords.txt
我整理的文件里其实已经有了，可根据需要进行扩展
重启服务,观察分词结果中,停止词被忽略
bin/solr restart -force
前段时间公司有的资讯栏目就遇到了政治比较敏感的词汇，然后赶紧召集产品，开发，数据等中心去找相关信息，普通的是怎么操作的呢？去数据库赶紧写sql语句筛选，挨个表进行找。然后再删除
但百度却可以做到瞬间屏蔽。正是借助于搜索系统的优势才可有这样的速度，也可以看出从前的方式无论从哪方面讲一点优势也没有
一旦政府公布一些敏感词汇，就可以实现快速屏蔽，快速定位。极大的提高了速度
5. 连接mysql
授予 root 用户 跨网络访问权限
注意: 此处设置的是远程登录的 root 用户,本机登录的 root 用户密码不变
grant all on *.* to 'root'@'%' identified by 'root';
但我的mysql版本是8以上的，用这个命令出错，用了另一种：
grant all on *.* to 'root'@'%';
刷新授权(立刻生效)
flush privileges;
可以使用我提供的数据库：GitHub地址
导入到本地中，我们使用pd_item表用于测试
随机修改30%的商品,让商品下架,以便后面做查询测试
UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3
从 mysql 导入商品数据
设置字段
- title
text_ik - sellPoint
text_ik - price
plong - barcode
string - image
string - cid
plong - status
pint - created
pdate - updated
pdate
Copy Field 副本字段
查询时需要按字段查询,例如 title:电脑, 可以将多个字段的值合并到一个字段进行查询,默认查询字段 _text_,将 title 和 sellPoint 复制到 _text_ 字段
添加 jar 文件
Data Import Handler 的 jar 文件存放在 solr目录/dist 目录下,
将solr-dataimporthandler-7.5.0.jar 、solr-dataimporthandler-extras-7.5.0.jar 复制到/home/solr-8.0.0/server/solr-webapp/webapp/WEB-INF/lib
我们当初在配置的时候做的一个步骤
我们要进入到/home/solr-8.0.0/server/solr/pd/conf去修改配置
第一步，在solrconfig.xml中文末添加配置：
"/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
"defaults">
"config">data-config.xml</str>
</lst>
</requestHandler>
第二步：创建data-config.xml文件用于配置数据库连接：按照格式改为自己数据库的相关信息
这里需要考虑mysql版本的问题，
- 我的sql版本是8.0以上的，所以驱动要使用
com.mysql.cj.jdbc.Driver - URL中也要注意：
serverTimezone： 时区allowPublicKeyRetrieval：公匙验证 这两个必须要这么写 并且不可少 要不然连接报错 - 将url中的&修改为&
<!-- 数据库信息 -->
type="JdbcDataSource"
driver="com.mysql.cj.jdbc.Driver"
url="jdbc:mysql://172.16.2.134:3306/pd_store?userSSL=true&useUnicode=true&characterEncoding=UTF8&useSSL=false&serverTimezone=GMT%2B8&allowPublicKeyRetrieval=true"
user="root" password="root"/>
<!-- document实体 -->
"item" query="SELECT * FROM pd_item">
<!-- 数据库字段映射solr字段 -->
"title" name="title"/>
"sell_point" name="sellPoint"/>
"price" name="price"/>
"barcode" name="barcode"/>
"image" name="image"/>
"cid" name="cid"/>
"status" name="status"/>
"created" name="created"/>
"updated" name="updated"/>
</entity>
</document>
</dataConfig>
~
重启 solr
cd /usr/local/solr-8.0.0
bin/solr restart -force
刷新一下，点击dataimport，可以看到右侧已经出现了相关信息
然后可以导入数据了，最后选择自动刷新信息，这样可看到数据导入的情况
配置没问题的情况下，可以看到右侧的信息会改变，包含了数据传输的速率和导入的总数据量，若没有出现，请再次确认配置信息
查询测试
在标题中查找 电脑
可以看到有10条数据，在这有可能你就怀疑这到底对不对呢
那我们用navicat测试一下：可以看到确实是10条
加粗样式用双引号查找完整词 “笔记本”，仔细查看所有数据，可以发现，不管是title还是sellPoint字段只要有笔记本的都会查询到
搜索 +lenovo +电脑,这个查询的就是同时包含Lenovo和电脑关键词的所有信息
搜索 +lenovo -电脑,这个查询的就是包含Lenovo但不包含电脑 关键词的所有信息
统计 cid，用于统计cid字段的信息，就是统计cid每个值的数量
将参数修改为*:*
在最后可以看到信息，格式为：“cid”:[数量]
还可以加条件，比如统计的cid值大于50,加入参数：facet.mincount=50
看结果，可以发现所有的cid值都大于50
价格范围
在 Raw Query Parameters 输入框中填入以下内容:
facet.range=price&facet.range.start=0&facet.range.end=10000&facet.range.gap=2000
意思就是统计价格范围为0~10000，并已2000为递增，统计各个价格的总数目
看一下结果
多字段统计
在 **Raw Query Parameters** 输入框中填入以下内容:
facet.pivot=cid,status
看一下结果：可以看到信息非常详细
6.实践
看一下我的项目： GitHub地址
运行，查看首页
这跟普遍的电子商城的页面几乎都一样，也有搜索功能，那我们使用solr实现
商品检索调用分析
pom.xml 添加 solr 和 lombok 依赖
org.springframework.boot</groupId>
spring-boot-starter-data-solr</artifactId>
</dependency>
org.projectlombok</groupId>
lombok</artifactId>
</dependency>
application.yml 添加 solr 连接信息
spring:
data:
solr: #注意修改ip地址
host: http://192.168.64.170:8983/solr/pd
Item 实体类
@Data
public class Item implements Serializable {
private static final long serialVersionUID = 1L;
@Field("id")
private String id;
@Field("title")
private String title;
@Field("sellPoint")
private String sellPoint;
@Field("price")
private Long price;
@Field("image")
private String image;
}
SearchService 业务接口
public interface SearchService {
List<Item> findItemByKey(String key) throws Exception;
}
SearchServiceImpl 业务实现类
@Service
public class SearchServiceImpl implements SearchService {
/*
* SolrClient实例是在 SolrAutoConfiguration 类中创建的
*
* SolrAutoConfiguration添加了@Configuration注解,
* 是spring boot自动配置类,其中的solrClient()方法中创建了SolrClient实例
*/
@Autowired
private SolrClient solrClient;
@Override
public List<Item> findItemByKey(String key) throws Exception {
//封装查询的关键词
//也可以封装其他的查询参数,比如指定字段,facet设置等
SolrQuery query = new SolrQuery(key);
//查询前多少条数据
query.setStart(0);
query.setRows(20);
//执行查询并得到查询结果
QueryResponse qr = solrClient.query(query);
//把查询结果转成一组商品实例
List<Item> beans = qr.getBeans(Item.class);
return beans;
}
}
SearchController 控制器
@Controller
public class SearchController {
@Autowired
private SearchService searchService;
@GetMapping("/search/toSearch.html")
public String search(String key, Model model) throws Exception {
List<Item> itemList = searchService.findItemByKey(key);
model.addAttribute("list", itemList);
return "/search.jsp";
}
}
若想实现跟控制台一样的效果呢？
比如我想实现参数为title:电脑的效果，我们上面测试了共有10个数据
代码应该怎么写呢？
@Override
public List<Item> findItemByKey(String key) throws Exception {
//封装查询的关键词
//也可以封装其他的查询参数,比如指定字段,facet设置等
// SolrQuery query = new SolrQuery(key);
SolrQuery query = new SolrQuery();
//查询前多少条数据
query.setStart(0);
query.setRows(20);
query.setQuery("title:"+key);
//执行查询并得到查询结果
QueryResponse qr = solrClient.query(query);
//把查询结果转成一组商品实例
List<Item> beans = qr.getBeans(Item.class);
return beans;
}
}
看一下结果：一共10个数据。
可以看出，要想实现多种多样的搜索结果，只需拼接不同的条件，那我们可以提前根据需求去编写一个专用的接口，这样就能满足实际需求。