框架 day80 涛涛商城项目-redis安装单机版solr,搭建搜索服务层,solrJ使用
淘淘商城第八天
讲师:入云龙
今天内容：
商品搜索功能：
1、使用solr实现。
2、搭建搜索服务层。
1 Solr实现全文搜索
1.1 Solr是什么？
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
Solr是一个全文检索服务器，只需要进行配置就可以实现全文检索服务。
1.2 Solr的安装及配置
Solr的版本：4.10.3
1.2.1 安装步骤
需要把solr服务器安装到linux环境：
第一步：安装linux、jdk、tomcat。
[root@bogon ~]# ll
total 8044
-rw-r--r--. 1 root root 8234674 Oct 27 2013 apache-tomcat-7.0.47.tar.gz
[root@bogon ~]# tar -zxfapache-tomcat-7.0.47.tar.gz
[root@bogon ~]# ll
total 8048
drwxr-xr-x. 9 root root 4096 Sep 10 17:55 apache-tomcat-7.0.47
-rw-r--r--. 1 root root 8234674 Oct 27 2013 apache-tomcat-7.0.47.tar.gz
[root@bogon ~]# mkdir /usr/local/solr
[root@bogon ~]# cp apache-tomcat-7.0.47/usr/local/solr/tomcat
cp: omitting directory`apache-tomcat-7.0.47'
[root@bogon ~]# cp apache-tomcat-7.0.47/usr/local/solr/tomcat -r
[root@bogon ~]# cd /usr/local/solr/
[root@bogon solr]# ll
total 4
drwxr-xr-x. 9 root root 4096 Sep 10 17:56tomcat
[root@bogon solr]#
第二步：把solr的压缩包上传到服务器。并解压。
第三步：把/root/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下。并改名为solr.war
[root@bogon dist]# cp solr-4.10.3.war/usr/local/solr/tomcat/webapps/solr.war
第四步：解压war包。启动tomcat自动解压。关闭tomcat。删除solr.war.
第五步：把/root/solr-4.10.3/example/lib/ext目录下所有的jar包复制到solr工程中。
[root@bogon ext]# cp */usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
第六步：创建solrhome。Solrhome是存放solr服务器所有配置文件的目录。
[root@bogon example]# pwd
/root/solr-4.10.3/example
[root@bogon example]# cp -r solr/usr/local/solr/solrhome
[root@bogon example]#
第七步：告诉solr服务器solrhome的位置(jndi)。
需要修改solr工程的web.xml文件。
第八步：启动tomcat
1.2.2 配置业务字段
1、在solr中默认是中文分析器，需要手工配置。配置一个FieldType，在FieldType中指定中文分析器。
2、Solr中的字段必须是先定义后使用。
1.2.2.1 中文分析器的配置
第一步：使用IK-Analyzer。把分析器的文件夹上传到服务器。
第二步：需要把分析器的jar包添加到solr工程中。
[root@bogon IK Analyzer 2012FF_hf1]# cpIKAnalyzer2012FF_u1.jar /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
[root@bogon IK Analyzer 2012FF_hf1]#
第三步：需要把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath。
/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes
[root@bogon IK Analyzer 2012FF_hf1]# cpIKAnalyzer.cfg.xml ext_stopword.dic mydict.dic/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes
[root@bogon IK Analyzer 2012FF_hf1]#
注意：扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。
第四步：配置fieldType。需要在solrhome/collection1/conf/schema.xml中配置。
技巧：使用vi、vim跳转到文档开头gg。跳转到文档末尾：G
| |
1.2.2.2 业务字段配置
业务字段判断标准：
1、在搜索时是否需要在此字段上进行搜索。例如：商品名称、商品的卖点、商品的描述
2、后续的业务是否需要用到此字段。例如：商品id。
需要用到的字段：
1、商品id
2、商品title
3、卖点
4、价格
5、商品图片
6、商品分类名称
7、商品描述
Solr中的业务字段：
1、id——》商品id
使用solr本身提供的：
2、
其他的对应字段创建solr的字段。
|
|
重新启动tomcat
1.3 维护索引库
添加：添加一个json格式的文件就可以。
修改：在solr中没有update，只需要添加一个新的文档，要求文档id和被修改文档的id一致。原理是先删除后添加。
删除：使用xml格式。
删除两种方法：
1、根据id删除：
2、根据查询删除：
2 solrJ客户端
需要依赖solrj的jar包。
|
<dependency> <groupId>org.apache.solrgroupId> <artifactId>solr-solrjartifactId> dependency> |
2.1 使用solrj的使用
| public class SolrJTest {
@Test public void addDocument() throws Exception { //创建一连接 SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr"); //创建一个文档对象 SolrInputDocument document = new SolrInputDocument(); document.addField("id","test001"); document.addField("item_title","测试商品2"); document.addField("item_price", 54321); //把文档对象写入索引库 solrServer.add(document); //提交 solrServer.commit(); }
@Test public void deleteDocument() throws Exception { //创建一连接 SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr"); //solrServer.deleteById("test001"); solrServer.deleteByQuery("*:*"); solrServer.commit(); } } |
2.2 把商品信息导入到索引库
使用java程序读取mysql数据库中的商品信息，然后创建solr文档对象，把商品信息写入索引库。
需要发布一个服务。
为了灵活的进行分布式部署需要创建一搜素的服务工程发布 搜素服务。Taotao-search。
2.2.1 系统架构
2.2.2 创建taotao-search工程
2.2.3 Pom文件
需要依赖taottao-common工程
需要依赖的jar包：
Spring的jar包
Springmvc的jar包。
Solrj的jar包。
Mybatis的jar包。
参考taotao-rest工程。
| <project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0modelVersion> <parent> <groupId>com.taotaogroupId> <artifactId>taotao-parentartifactId> <version>0.0.1-SNAPSHOTversion> parent> <groupId>com.taotaogroupId> <artifactId>taotao-searchartifactId> <version>0.0.1-SNAPSHOTversion> <packaging>warpackaging> <dependencies> <dependency> <groupId>com.taotaogroupId> <artifactId>taotao-manager-mapperartifactId> <version>0.0.1-SNAPSHOTversion> dependency>
<dependency> <groupId>org.springframeworkgroupId> <artifactId>spring-contextartifactId> dependency> <dependency> <groupId>org.springframeworkgroupId> <artifactId>spring-beansartifactId> dependency> <dependency> <groupId>org.springframeworkgroupId> <artifactId>spring-webmvcartifactId> dependency> <dependency> <groupId>org.springframeworkgroupId> <artifactId>spring-jdbcartifactId> dependency> <dependency> <groupId>org.springframeworkgroupId> <artifactId>spring-aspectsartifactId> dependency> <dependency> <groupId>javax.servletgroupId> <artifactId>servlet-apiartifactId> <scope>providedscope> dependency> <dependency> <groupId>javax.servletgroupId> <artifactId>jsp-apiartifactId> <scope>providedscope> dependency>
<dependency> <groupId>org.apache.solrgroupId> <artifactId>solr-solrjartifactId> dependency> dependencies> <build>
<plugins> <plugin> <groupId>org.apache.tomcat.mavengroupId> <artifactId>tomcat7-maven-pluginartifactId> <configuration> <port>8083port> <path>/path> configuration> plugin> plugins> build> project> |
2.2.4 Web.xml
| xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee"xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="taotao"version="2.5"> <display-name>taotao-searchdisplay-name> <welcome-file-list> <welcome-file>index.htmlwelcome-file> <welcome-file>index.htmwelcome-file> <welcome-file>index.jspwelcome-file> <welcome-file>default.htmlwelcome-file> <welcome-file>default.htmwelcome-file> <welcome-file>default.jspwelcome-file> welcome-file-list>
<context-param> <param-name>contextConfigLocationparam-name> <param-value>classpath:spring/applicationContext-*.xmlparam-value> context-param> <listener> <listener-class>org.springframework.web.context.ContextLoaderListenerlistener-class> listener>
<filter> <filter-name>CharacterEncodingFilterfilter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilterfilter-class> <init-param> <param-name>encodingparam-name> <param-value>utf-8param-value> init-param> filter> <filter-mapping> <filter-name>CharacterEncodingFilterfilter-name> <url-pattern>/*url-pattern> filter-mapping>
<servlet> <servlet-name>taotao-searchservlet-name> <servlet-class>org.springframework.web.servlet.DispatcherServletservlet-class>
<init-param> <param-name>contextConfigLocationparam-name> <param-value>classpath:spring/springmvc.xmlparam-value> init-param> <load-on-startup>1load-on-startup> servlet> <servlet-mapping> <servlet-name>taotao-searchservlet-name> <url-pattern>/search/*url-pattern> servlet-mapping> web-app> |
2.2.5 框架整合
参考taotao-rest工程
2.3 导入商品数据
2.3.1 需要使用的表
2.3.2 Sql语句
SELECT
a.id,
a.title,
a.sell_point,
a.price,
a.image,
b.`name`category_name,
c.item_desc
FROM
tb_itema
LEFT JOIN tb_item_cat b ON a.cid = b.id
LEFT JOIN tb_item_desc c ON a.id =c.item_id
2.3.3 Dao层
需要创建一个mapper接口+mapper映射文件。名称相同且在同一目录下。
2.3.3.1 pojo
创建一个sql语句对应的pojo。
| public class Item {
private String id; private String title; private String sell_point; private long price; private String image; private String category_name; private String item_des; } |
2.3.3.2 接口定义
2.3.3.3 Mapper文件
| xml version="1.0" encoding="UTF-8"?> DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd" > <mapper namespace="com.taotao.search.mapper.ItemMapper">
<selectid="getItemList"resultType="com.taotao.search.pojo.Item"> SELECT a.id, a.title, a.sell_point, a.price, a.image, b. NAME category_name FROM tb_item a LEFT JOIN tb_item_cat b ON a.cid = b.id select>
mapper> |
2.3.4 Service层
功能：导入所有的商品数据。没有参数。返回结果TaotaoResult。从数据库中查询出所有的商品数据。创建一个SolrInputDocument对象，把对象写入索引库。
| @Service public class ItemServiceImpl implements ItemService {
@Autowired private ItemMapper itemMapper;
@Autowired private SolrServer solrServer;
@Override public TaotaoResult importAllItems() { try {
//查询商品列表 List //把商品信息写入索引库 for (Item item : list) { //创建一个SolrInputDocument对象 SolrInputDocument document =new SolrInputDocument(); document.setField("id",item.getId()); document.setField("item_title",item.getTitle()); document.setField("item_sell_point",item.getSell_point()); document.setField("item_price",item.getPrice()); document.setField("item_image",item.getImage()); document.setField("item_category_name",item.getCategory_name()); document.setField("item_desc",item.getItem_des()); //写入索引库 solrServer.add(document); } //提交修改 solrServer.commit(); } catch (Exceptione) { e.printStackTrace(); return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e)); } return TaotaoResult.ok(); }
} |
applicationContext-solr.xml
|
<bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer"> <constructor-argname="baseURL"value="${SOLR.SERVER.URL}">constructor-arg> bean> |
2.3.5 Controller层
功能：发布一个rest形式的服务。调用Service的服务方法，把数据导入到索引库中，返回TaotaoResult。
Url：/search/manager/importall
| @Controller @RequestMapping("/manager") public class ItemController {
@Autowired private ItemService itemService;
/** * 导入商品数据到索引库 */ @RequestMapping("/importall") @ResponseBody public TaotaoResult importAllItems() { TaotaoResult result =itemService.importAllItems(); return result; } } |
修改pom文件，添加如下配置：
| <resources> <resource> <directory>src/main/javadirectory> <includes> <include>**/*.propertiesinclude> <include>**/*.xmlinclude> includes> <filtering>falsefiltering> resource> <resource> <directory>src/main/resourcesdirectory> <includes> <include>**/*.propertiesinclude> <include>**/*.xmlinclude> includes> <filtering>falsefiltering> resource> resources> build> |
3 搜索服务发布
3.1 需求分析
http形式的服务。对外提供搜索服务是一个get形式的服务。调用此服务时需要查询条件，分页条件可以使用page（要显示第几页）、rows（每页显示的记录数）。返回一个json格式的数据。可以使用TaotaoResult包装一个商品列表转换成json。
请求的url：/search/query/{查询条件}/{page}/{rows}
/search/query?q={查询条件}&page={page}&rows={rows}
返回的结果：TaotaoResult包装商品列表。
3.2 Dao层
分析：尽可能的做的通用一些。参数应该是SolrQuery。返回商品列表、查询结果总记录数
查询测试：
| @Test public void queryDocument() throws Exception { SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr"); //创建一个查询对象 SolrQuery query = new SolrQuery(); //设置查询条件 query.setQuery("*:*"); query.setStart(20); query.setRows(50); //执行查询 QueryResponse response = solrServer.query(query); //取查询结果 SolrDocumentList solrDocumentList =response.getResults(); System.out.println("共查询到记录：" +solrDocumentList.getNumFound()); for (SolrDocumentsolrDocument : solrDocumentList) { System.out.println(solrDocument.get("id")); System.out.println(solrDocument.get("item_title")); System.out.println(solrDocument.get("item_price")); System.out.println(solrDocument.get("item_image"));
} } |
返回结果pojo：
| public class SearchResult {
//商品列表 private List //总记录数 private long recordCount; //总页数 private long pageCount; //当前页 private long curPage; } |
| @Repository public class SearchDaoImpl implements SearchDao {
@Autowired private SolrServer solrServer;
@Override public SearchResult search(SolrQueryquery) throws Exception { //返回值对象 SearchResult result = new SearchResult(); //根据查询条件查询索引库 QueryResponse queryResponse = solrServer.query(query); //取查询结果 SolrDocumentList solrDocumentList =queryResponse.getResults(); //取查询结果总数量 result.setRecordCount(solrDocumentList.getNumFound()); //商品列表 List //取高亮显示 Map //取商品列表 for (SolrDocumentsolrDocument : solrDocumentList) { //创建一商品对象 Item item = new Item(); item.setId((String) solrDocument.get("id")); //取高亮显示的结果 List String title =""; if (list !=null && list.size()>0) { title =list.get(0); } else { title = (String)solrDocument.get("item_title"); } item.setTitle(title); item.setImage((String) solrDocument.get("item_image")); item.setPrice((long)solrDocument.get("item_price")); item.setSell_point((String) solrDocument.get("item_sell_point")); item.setCategory_name((String)solrDocument.get("item_category_name")); //添加的商品列表 itemList.add(item); } result.setItemList(itemList); return result; }
} |
3.3 Service层
功能：接收查询条件。查询条件及分页条件（page、rows），创建一个SolrQuery对象。指定查询条件、分页条件、默认搜索域、高亮显示。调用dao层执行查询。得到查询结果计算总页数。返回SearchResult对象。
| @Service public class SearchServiceImpl implements SearchService {
@Autowired private SearchDao searchDao; @Override public SearchResult search(StringqueryString, intpage, introws) throws Exception { //创建查询对象 SolrQuery query = new SolrQuery(); //设置查询条件 query.setQuery(queryString); //设置分页 query.setStart((page - 1) *rows); query.setRows(rows); //设置默认搜素域 query.set("df","item_keywords"); //设置高亮显示 query.setHighlight(true); query.addHighlightField("item_title"); query.setHighlightSimplePre(""); query.setHighlightSimplePost(""); //执行查询 SearchResult searchResult =searchDao.search(query); //计算查询结果总页数 long recordCount = searchResult.getRecordCount(); long pageCount = recordCount / rows; if (recordCount %rows > 0) { pageCount++; } searchResult.setPageCount(pageCount); searchResult.setCurPage(page);
return searchResult; }
} |
3.4 Controller层
接收查询参数：查询条件、page、rows
调用Service执行查询返回一个查询结果对象。
把查询结果包装到TaotaoResult中返回，结果是json格式的数据。
如果查询条件为空，返回状态码：400，消息：查询条件不能为空。
Page为空：默认为1
Rows 为空：默认为60
| @Controller public class SearchController {
@Autowired private SearchServicesearchService;
@RequestMapping(value="/query", method=RequestMethod.GET) @ResponseBody public TaotaoResult search(@RequestParam("q")StringqueryString, @RequestParam(defaultValue="1")Integerpage, @RequestParam(defaultValue="60")Integerrows) { //查询条件不能为空 if (StringUtils.isBlank(queryString)) { return TaotaoResult.build(400,"查询条件不能为空"); } SearchResult searchResult =null; try { searchResult =searchService.search(queryString,page, rows); } catch (Exceptione) { e.printStackTrace(); return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e)); } return TaotaoResult.ok(searchResult);
}
} |
扫描dao配置：
解决get乱码问题：
Tomcat默认的编码为ISO8859-1，需要转换成utf-8的编码。
或者在controller中添加字符串编码转换逻辑
