实战Solr分布式实时搜索集群搭建

Solr分布式全文检索
什么是Solr
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。
Solr和lucene区别
slor:
Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。
lucene
提供了一大推的API而我们开发者还要去调用API自己去写服务.而Solr只需要进行
配置就行了，开发者不需要去关注他的本身是怎么实现的

如何搭建Solr单机版服务(Linux服务系统)

1 Solr实现全文搜索
1.1 Solr是什么？
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
Solr是一个全文检索服务器，只需要进行配置就可以实现全文检索服务。

1.2 Solr的安装及配置
Solr的版本：4.10.3

1.2.1 安装步骤
需要把solr服务器安装到linux环境：
第一步：安装linux、jdk、tomcat。
[root@bogon ~]# ll
total 8044
-rw-r–r–. 1 root root 8234674 Oct 27 2013 apache-tomcat-7.0.47.tar.gz
[root@bogon ~]# tar -zxf apache-tomcat-7.0.47.tar.gz
[root@bogon ~]# ll
total 8048
drwxr-xr-x. 9 root root 4096 Sep 10 17:55 apache-tomcat-7.0.47
-rw-r–r–. 1 root root 8234674 Oct 27 2013 apache-tomcat-7.0.47.tar.gz
[root@bogon ~]# mkdir /usr/local/solr
[root@bogon ~]# cp apache-tomcat-7.0.47 /usr/local/solr/tomcat
cp: omitting directory `apache-tomcat-7.0.47’
[root@bogon ~]# cp apache-tomcat-7.0.47 /usr/local/solr/tomcat -r
[root@bogon ~]# cd /usr/local/solr/
[root@bogon solr]# ll
total 4
drwxr-xr-x. 9 root root 4096 Sep 10 17:56 tomcat
[root@bogon solr]#
第二步：把solr的压缩包上传到服务器。并解压。
第三步：把/root/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下。并改名为solr.war
[root@bogon dist]# cp solr-4.10.3.war /usr/local/solr/tomcat/webapps/solr.war
第四步：解压war包。启动tomcat自动解压。关闭tomcat。删除solr.war.
第五步：把/root/solr-4.10.3/example/lib/ext 目录下所有的jar包复制到solr工程中。
[root@bogon ext]# cp * /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
第六步：创建solrhome。Solrhome是存放solr服务器所有配置文件的目录。
[root@bogon example]# pwd
/root/solr-4.10.3/example
[root@bogon example]# cp -r solr /usr/local/solr/solrhome
[root@bogon example]#
第七步：告诉solr服务器solrhome的位置。
需要修改solr工程的web.xml文件。

第八步：启动tomcat

1.2.2 配置业务字段
1、在solr中默认是中文分析器，需要手工配置。配置一个FieldType，在FieldType中指定中文分析器。
2、Solr中的字段必须是先定义后使用。
1.2.2.1 中文分析器的配置
第一步：使用IK-Analyzer。把分析器的文件夹上传到服务器。

第二步：需要把分析器的jar包添加到solr工程中。
[root@bogon IK Analyzer 2012FF_hf1]# cp IKAnalyzer2012FF_u1.jar /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/
[root@bogon IK Analyzer 2012FF_hf1]#
第三步：需要把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath。
/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes

[root@bogon IK Analyzer 2012FF_hf1]# cp IKAnalyzer.cfg.xml ext_stopword.dic mydict.dic /usr/local/solr/tomcat/webapps/solr/WEB-INF/classes
[root@bogon IK Analyzer 2012FF_hf1]#

注意：扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。

第四步：配置fieldType。需要在solrhome/collection1/conf/schema.xml中配置。
技巧：使用vi、vim跳转到文档开头gg。跳转到文档末尾：G

1.2.2.2 业务字段配置
业务字段判断标准：
1、在搜索时是否需要在此字段上进行搜索。例如：商品名称、商品的卖点、商品的描述
2、后续的业务是否需要用到此字段。例如：商品id。

需要用到的字段：
1、商品id
2、商品title
3、卖点
4、价格
5、商品图片
6、商品分类名称
7、商品描述

Solr中的业务字段：
1、id——》商品id
其他的对应字段创建solr的字段。

重新启动tomcat

1.3 维护索引库
添加：添加一个json格式的文件就可以。
修改：在solr中没有update，只需要添加一个新的文档，要求文档id和被修改文档的id一致。原理是先删除后添加。
删除：使用xml格式。

删除两种方法：
1、根据id删除：

test001


2、根据查询删除：

:

2 solrJ客户端
需要依赖solrj的jar包。


org.apache.solr
solr-solrj

2.1 使用solrj的使用
public class SolrJTest {

@Test
public void addDocument() throws Exception {
//创建一连接
SolrServer solrServer = new HttpSolrServer(“http://192.168.25.154:8080/solr“);
//创建一个文档对象
SolrInputDocument document = new SolrInputDocument();
document.addField(“id”, “test001”);
document.addField(“item_title”, “测试商品2”);
document.addField(“item_price”, 54321);
//把文档对象写入索引库
solrServer.add(document);
//提交
solrServer.commit();
}

@Test
public void deleteDocument() throws Exception {
//创建一连接
SolrServer solrServer = new HttpSolrServer(“http://192.168.25.154:8080/solr“);
//solrServer.deleteById(“test001”);
solrServer.deleteByQuery(“:“);
solrServer.commit();
}
}

2.2 把商品信息导入到索引库
使用java程序读取mysql数据库中的商品信息，然后创建solr文档对象，把商品信息写入索引库。
需要发布一个服务。

为了灵活的进行分布式部署需要创建一搜素的服务工程发布 搜素服务。pactera-search。

SorlJ使用
public class SolrJTest {

@Test
public void addDocument() throws Exception {
//创建一连接
SolrServer solrServer = new HttpSolrServer(“http://192.168.25.154:8080/solr“);
//创建一个文档对象
SolrInputDocument document = new SolrInputDocument();
document.addField(“id”, “test001”);
document.addField(“item_title”, “测试商品2”);
document.addField(“item_price”, 54321);
//把文档对象写入索引库
solrServer.add(document);
//提交
solrServer.commit();
}

@Test
public void deleteDocument() throws Exception {
//创建一连接
SolrServer solrServer = new HttpSolrServer(“http://192.168.25.154:8080/solr“);
//solrServer.deleteById(“test001”);
solrServer.deleteByQuery(“:“);
solrServer.commit();
}
}