企业WEB项目通过solr实现商品搜索功能
概述
WEB项目中搜索功能是必不可少的，然而如果我们每次搜索都去数据库查询，将极大浪费性能，因此，我们需要一个全文搜索服务器——Solr。本博文将详细介绍Solr服务的搭建搜索功能的实现。
一、Solr
1.Solr简介
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。
简单来说，就是Solr是一个全文检索服务器，只需要进行配置就可以实现全文检索服务。
2.Solr的安装及配置
详细安装过程及配置参照另一篇博客《Linux下Solr的安装及配置(CentOS为例)》
3.Solr界面功能
4.维护索引库
添加：添加一个json格式的文件就可以。
修改：在solr中没有update，只需要添加一个新的文档，要求文档id和被修改文档的id一致。原理是先删除后添加。
删除：使用xml格式。
删除两种方法：
1、根据id删除：
<delete>
<id>test001id>
delete>
<commit/>
2、根据查询删除：
<delete>
<query>*:*query>
delete>
<commit/>
5.SolrJ客户端
SolrJ是一个使Java应用程序可以轻松与Solr对话的API。SolrJ隐藏了许多连接到Solr的细节，并允许您的应用程序通过简单的高级方法与Solr进行交互。
maven工程需要依赖solrj的jar包
<dependency>
<groupId>org.apache.solrgroupId>
<artifactId>solr-solrjartifactId>
dependency>
solrj的使用
public class SolrJTest {
@Test
public void addDocument() throws Exception{
//创建一个连接
SolrServer solrServer = new HttpSolrServer("http://192.168.10.130:8080/solr");
//创建一个文档对象
SolrInputDocument document = new SolrInputDocument();
document.addField("id", "test001");
document.addField("item_title", "测试视频");
document.addField("item_price", 53156);
//把文档对象写入索引库
solrServer.add(document);
//提交
solrServer.commit();
}
@Test
public void deleteDocument() throws Exception{
SolrServer solrServer = new HttpSolrServer("http://192.168.10.130:8080/solr");
//solrServer.deleteById("test001");
solrServer.deleteByQuery("*:*");//删除所有
solrServer.commit();
}
@Test
public void queryDocument() throws Exception{
SolrServer solrServer = new HttpSolrServer("http://192.168.10.130:8080/solr");
//创建一个查询对象
SolrQuery query = new SolrQuery();
//设置查询条件
query.setQuery("*:*");
//设置分页参数
query.setStart(20);
query.setRows(20);
//执行查询
QueryResponse response = solrServer.query(query);
//去查询结果
SolrDocumentList solrDocumentList = response.getResults();
System.out.println("共查到记录："+solrDocumentList.getNumFound());
for (SolrDocument solrDocument : solrDocumentList) {
System.out.println(solrDocument.get("id"));
System.out.println(solrDocument.get("item_title"));
System.out.println(solrDocument.get("item_price"));
System.out.println(solrDocument.get("item_image"));
}
}
}
二、把商品信息导入到索引库
使用java程序读取mysql数据库中的商品信息，然后创建solr文档对象，把商品信息写入索引库。
需要发布一个服务。 为了灵活的进行分布式部署需要创建一搜素的服务工程发布 搜素服务。Taotao-search。
1.系统架构
2.创建taotao-search工程
配置：
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0modelVersion>
<parent>
<groupId>com.taotaogroupId>
<artifactId>taotao-parentartifactId>
<version>0.0.1-SNAPSHOTversion>
parent>
<groupId>com.taotaogroupId>
<artifactId>taotao-serachartifactId>
<version>0.0.1-SNAPSHOTversion>
<packaging>warpackaging>
<dependencies>
<dependency>
<groupId>com.taotaogroupId>
<artifactId>taotao-manager-mapperartifactId>
<version>0.0.1-SNAPSHOTversion>
dependency>
<dependency>
<groupId>org.springframeworkgroupId>
<artifactId>spring-contextartifactId>
dependency>
<dependency>
<groupId>org.springframeworkgroupId>
<artifactId>spring-beansartifactId>
dependency>
<dependency>
<groupId>org.springframeworkgroupId>
<artifactId>spring-webmvcartifactId>
dependency>
<dependency>
<groupId>org.springframeworkgroupId>
<artifactId>spring-jdbcartifactId>
dependency>
<dependency>
<groupId>org.springframeworkgroupId>
<artifactId>spring-aspectsartifactId>
dependency>
<dependency>
<groupId>javax.servletgroupId>
<artifactId>servlet-apiartifactId>
<scope>providedscope>
dependency>
<dependency>
<groupId>javax.servletgroupId>
<artifactId>jsp-apiartifactId>
<scope>providedscope>
dependency>
<dependency>
<groupId>org.apache.solrgroupId>
<artifactId>solr-solrjartifactId>
dependency>
dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.tomcat.mavengroupId>
<artifactId>tomcat7-maven-pluginartifactId>
<configuration>
<port>8084port>
<path>/path>
configuration>
plugin>
plugins>
<resources>
<resource>
<directory>src/main/javadirectory>
<includes>
<include>**/*.propertiesinclude>
<include>**/*.xmlinclude>
includes>
<filtering>falsefiltering>
resource>
<resource>
<directory>src/main/resourcesdirectory>
<includes>
<include>**/*.propertiesinclude>
<include>**/*.xmlinclude>
includes>
<filtering>falsefiltering>
resource>
resources>
build>
project>
其他配置参考《企业WEB项目前台工程搭建,ajax跨域的解决》 taotao-rest工程的配置，基本差不多
3.sql语句
SELECT
a.id,
a.title,
a.sell_point,
a.price,
a.image,
b.`name` category_name,
c.item_desc
FROM
tb_item a
LEFT JOIN tb_item_cat b ON a.cid = b.id
LEFT JOIN tb_item_desc c ON a.id = c.item_id
创建一个sql语句对应的pojo。
public class Item {
private String id;
private String title;
private String sell_point;
private long price;
private String image;
private String category_name;
private String item_des;
}
4.Dao层
需要创建一个mapper接口+mapper映射文件。名称相同且在同一目录下。
接口定义：
Mapper文件：
<mapper namespace="com.taotao.search.mapper.ItemMapper" >
<select id="getItemList" resultType="com.taotao.search.pojo.Item">
SELECT
a.id,
a.title,
a.sell_point,
a.price,
a.image,
b. NAME category_name
FROM
tb_item a
LEFT JOIN tb_item_cat b ON a.cid = b.id
select>
mapper>
5.Service层
功能：导入所有的商品数据。没有参数。返回结果TaotaoResult。从数据库中查询出所有的商品数据。创建一个SolrInputDocument对象，把对象写入索引库。
applicationContext-solr.xml
<bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer">
<constructor-arg name="baseURL" value="${SOLR.SERVER.URL}">constructor-arg>
bean>
SOLR.SERVER.URL在properties中定义
@Service
public class ItemServiceImpl implements ItemService {
@Autowired
private ItemMapper itemMapper;
@Autowired
private SolrServer solrServer;
@Override
public TaotaoResult importAllItems() {
try {
//查询商品列表
List<Item> list = itemMapper.getItemList();
//把商品信息写入索引库
for (Item item : list) {
//创建一个SolrInputDocument对象
SolrInputDocument document = new SolrInputDocument();
document.setField("id", item.getId());
document.setField("item_title", item.getTitle());
document.setField("item_sell_point", item.getSell_point());
document.setField("item_price", item.getPrice());
document.setField("item_image", item.getImage());
document.setField("item_category_name", item.getCategory_name());
document.setField("item_desc", item.getItem_des());
//写入索引库
solrServer.add(document);
}
//提交修改
solrServer.commit();
} catch (Exception e) {
e.printStackTrace();
return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e));
}
return TaotaoResult.ok();
}
}
6.Controller层
功能：发布一个rest形式的服务。调用Service的服务方法，把数据导入到索引库中，返回TaotaoResult。
Url：/search/manager/importall
@Controller
@RequestMapping("/manager")
public class ItemController {
@Autowired
private ItemService itemService;
/**
* 导入商品数据到索引库
*/
@RequestMapping("/importall")
@ResponseBody
public TaotaoResult importAllItems() {
TaotaoResult result = itemService.importAllItems();
return result;
}
}
三、实现商品搜索功能
实现商品搜索功能需要两步实现：
第一步：在taotoa-search工程中发布服务
第二步：在taotao-portal中调用服务并展示结果。
1.发布搜索服务
1.1需求分析
http形式的服务。对外提供搜索服务是一个get形式的服务。调用此服务时需要查询条件，分页条件可以使用page（要显示第几页）、rows（每页显示的记录数）。返回一个json格式的数据。可以使用TaotaoResult包装一个商品列表转换成json。
请求的url：/search/query/{查询条件}/{page}/{rows}
/search/query?q={查询条件}&page={page}&rows={rows}
返回的结果：TaotaoResult包装商品列表。
返回结果pojo
public class SearchResult {
//商品列表
private List<Item> itemList;
//总记录数
private long recordCount;
//总页数
private long pageCount;
//当前页
private long curPage;
}
1.2Dao层
分析：尽可能的做的通用一些。参数应该是SolrQuery。返回商品列表、查询结果总记录数
@Repository
public class SearchDaoImpl implements SearchDao {
@Autowired
private SolrServer solrServer;
@Override
public SearchResult search(SolrQuery query) throws Exception{
//返回值对象
SearchResult result = new SearchResult();
//根据查询条件查询索引库
QueryResponse queryResponse = solrServer.query(query);
//取查询结果
SolrDocumentList solrDocumentList = queryResponse.getResults();
//取查询结果总数量
result.setRecordCount(solrDocumentList.getNumFound());
//商品列表
List<Item> itemList = new ArrayList<Item>();
//取高亮显示
Map<String, Map<String, List<String>>> highlighting = queryResponse.getHighlighting();
//取商品列表
for (SolrDocument solrDocument : solrDocumentList) {
//创建一商品对象
Item item = new Item();
item.setId((String) solrDocument.get("id"));
//取高亮显示的结果
List<String> list = highlighting.get(solrDocument.get("id")).get("item_title");
String title="";
if(list!=null&&list.size()>0) {
title = list.get(0);
}else {
title = (String) solrDocument.get("item_title");
}
item.setTitle(title);
item.setImage((String) solrDocument.get("item_image"));
item.setPrice((long) solrDocument.get("item_price"));
item.setSell_point((String) solrDocument.get("item_sell_point"));
item.setCategory_name((String) solrDocument.get("item_category_name"));
//添加的商品列表
itemList.add(item);
}
result.setItemList(itemList);
return result;
}
}
1.3Service层
功能：接收查询条件。查询条件及分页条件（page、rows），创建一个SolrQuery对象。指定查询条件、分页条件、默认搜索域、高亮显示。调用dao层执行查询。得到查询结果计算总页数。返回SearchResult对象。
@Service
public class SearchServiceImpl implements SearchService {
@Autowired
private SearchDao searchDao;
@Override
public SearchResult search(String queryString, int page, int rows) throws Exception {
//创建查询对象
SolrQuery query = new SolrQuery();
//设置查询条件
query.setQuery(queryString);
//设置分页
query.setStart((page - 1) * rows);
query.setRows(rows);
//设置默认搜素域
query.set("df", "item_keywords");
//设置高亮显示
query.setHighlight(true);
query.addHighlightField("item_title");
query.setHighlightSimplePre("");
query.setHighlightSimplePost("");
//执行查询
SearchResult searchResult = searchDao.search(query);
//计算查询结果总页数
long recordCount = searchResult.getRecordCount();
long pageCount = recordCount / rows;
if (recordCount % rows > 0) {
pageCount++;
}
searchResult.setPageCount(pageCount);
searchResult.setCurPage(page);
return searchResult;
}
}
1.4Controller层
接收查询参数：查询条件、page、rows
调用Service执行查询返回一个查询结果对象。
把查询结果包装到TaotaoResult中返回，结果是json格式的数据。
如果查询条件为空，返回状态码：400，消息：查询条件不能为空。
Page为空：默认为1 Rows 为空：默认为50
@Controller
public class SearchController {
@Autowired
private SearchService searchService;
@RequestMapping(value="/query",method=RequestMethod.GET)
@ResponseBody
public TaotaoResult search(@RequestParam("q")String queryString,
@RequestParam(defaultValue="1")Integer page,@RequestParam(defaultValue="50")Integer rows) {
//查询条件不能为空
if(StringUtils.isBlank(queryString)) {
return TaotaoResult.build(400, "查询条件不能为空");
}
SearchResult searchResult = null;
try {
queryString = new String(queryString.getBytes("iso8859-1"),"utf-8");
searchResult = searchService.search(queryString, page, rows);
} catch (Exception e) {
e.printStackTrace();
return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e));
}
return TaotaoResult.ok(searchResult);
}
}
1.5测试
2.调用服务实现搜索功能
2.1需求分析
用户在首页中输入查询条件，点击查询向taotao-portal发送请求，参数就是查询的条件，页码。Taoto-portal调用taotao-search发布的服务进行搜索，参数应该是查询条件和页码及每页显示的记录数（参数可选）。Taotao-search返回一个json格式的数据（TaotaoResult包装一个SearchResult对象）。Taotao-portal接收json数据需要把json数据转换成java对象。把java对象传递给jsp页面，jsp渲染java对象得到商品查询结果页面。
请求url：http://localhost:8082/search.html?q=查询条件
返回结果：query：回显的查询条件 totalPages：总页数 itemList：商品列表 page：当前页码
2.2Dao层
没有
2.3Service层
接收两个参数1、查询条件2、页码。调用taotao-search的搜索服务。接收返回的json数据，把json转换成java对象返回SearchResult对象。
@Service
public class SearchServiceImpl implements SearchService {
@Value("${SEARCH_BASE_URL}")
private String SEARCH_BASE_URL;
@Override
public SearchResult search(String queryString, int page) {
//调用taotao-search服务
//查询参数
Map<String, String> param = new HashMap<String, String>();
param.put("q", queryString);
param.put("page", page+"");
try {
//调用服务
String json = HttpClientUtil.doGet(SEARCH_BASE_URL, param);
//把字符串转换成java对象
TaotaoResult taotaoResult = TaotaoResult.formatToPojo(json, SearchResult.class);
if(taotaoResult.getStatus()==200) {
SearchResult result = (SearchResult) taotaoResult.getData();
return result;
}
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
}
2.4Controller层
功能：接收请求的参数查询条件和页码。调用Service查询商品列表得到SearchResult对象。
需要把query：回显的查询条件 totalPages：总页数 itemList：商品列表 page：当前页码
传递到页面。返回一个逻辑视图search字符串。
@Controller
public class SearchController {
@Autowired
private SearchService searchService;
@RequestMapping("/search")
public String search(@RequestParam("q")String queryString,@RequestParam(defaultValue="1")Integer page,Model model) {
if(queryString!=null) {
try {
queryString = new String(queryString.getBytes("iso8859-1"), "utf-8");
} catch (Exception e) {
e.printStackTrace();
}
}
SearchResult searchResult = searchService.search(queryString, page);
//向页面传递参数
model.addAttribute("query", queryString);
model.addAttribute("totalPages", searchResult.getPageCount());
model.addAttribute("itemList", searchResult.getItemList());
model.addAttribute("page", page);
return "search";
}
}
实现效果：
2.5图片bug修改
搜索结果中图片展示不出来，因为image字段中存储的图片是多张，使用逗号分隔。
解决方法：
结语
LPL夏季赛开幕式整挺好，就是有点费韩国队
另外，Canna来个死全家套餐没意见吧（不懂的科普一下哦，这逼故意打lpl时亮老鼠，老鼠在韩国翻译直接是瘟疫，什么意思不用我多说了吧）