使用Solr为应用提供搜索服务(5)数据导入/同步&运维

Solr提供DIH(Data Import Handler)为我们提供数据的全量、增量导入，它支持的数据源种类很多比如数据库、TXT、JSON、XML等等，本文主要讲解如何从MySQL 数据库导入数据。

数据导入/同步

我们还以Blog这个模型为例，假设数据库同样有该表，有id、title、author、ctime(创建时间)、mtime(修改时间)、isDelete(逻辑删除)等字段。

要使用DIH我们需要下面几个步骤(其中IP 及 数据库配置要以实际的为主，应该不用多说。)

//首先进入solr-5.5.3目录下
//将下面两个JAR包引入
$ cp dist/solr-dataimporthandler-5.5.3.jar server/solr-webapp/webapp/WEB-INF/lib/
$ cp dist/solr-dataimporthandler-extras-5.5.3.jar server/solr-webapp/webapp/WEB-INF/lib/
//既然要使用MySQL当然还要加入com.mysql.jdbc.Driver的Jar包了，Solr 并没有提供，请自行引入server/solr-webapp/webapp/WEB-INF/lib/内。

//修改配置文件solrconfig.xml
//由于使用Solr Client我们的配置文件已被Zookeeper托管，我们需要下载下来，配置完毕后再上传回去，这个步骤必须熟练，因为可能会经常修改配置文件。
// 下面命令-n指定要下载的配置文件名称，-d 指定将配置文件下载到哪里，可以自行决定
$ ./bin/solr zk -downconfig -z 172.16.1.202:2181 -n test-conf -d ~/download/ 
//接着我们需要修改conf/solrconfig.xml，在最下部添加下面这段配置

        
            data-config.xml
        

//接着我们需要在conf/目录下创建data-config.xml文件，内容如下面这段配置

由于增量导入的需要我们需要添加一个新field mtime，这时我们需要编辑managed-schema文件添加下面一行

我觉得有必要在对data-config内配置作一下讲解，所谓全量导入很简单就是一个查询语句然后DIH将查询结果转换为Document添加入索引。而增量就是根据逻辑删除标识字段，以及更新时间字段来查询出有变化的Row的主键，然后通过deltaImportQuery语句由DIH更新索引。

上传/更新配置文件

$ ./bin/solr zk -upconfig -z 172.16.1.202:2181 -n test-conf -d ~/download/conf

经过这些配置，我们需要将4个节点依次重启，使这些配置生效。

$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node1/solr-home/ -p 8983
$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node2/solr-home/ -p 8984
$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node3/solr-home/ -p 8985
$ ./bin/solr restart -z 172.16.1.202:2181 -s ~/solr-cloud/node4/solr-home/ -p 8986

好了，配置完成后，我们就可以进行导入了 ，下面是配置完成DIH后的图形界面。

DIH HTML UI

这里有必要再说一遍，Solr 提供基于HTTP REST 的API 所以它的界面使用的是Angular JS 通过调用API来实现的，所以说你可以使用图形界面完成所以操作，如果你愿意，你甚至可以通过浏览器的地址栏拼接参数来完成所有操作，但是，这里还是建议使用shell来进行运维及管理。

//举两个栗子
//全量 $ curl http://172.16.1.202:8983/solr/test-collection/dataimport?command=full-import
//增量$ curl http://172.16.1.202:8983/solr/test-collection/dataimport?delta-import

查看完整详细的DIH API 请点击我

简单的运维

1. 数据的同步问题，通常使用定时任务来完成。例如，每30分钟执行一次全量shell脚本，每3分钟执行一次增量shell脚本，这只是例子，具体要根据业务、服务器性能各方面来决定。
2. 增加节点、增加副本等等，这些建议查看官方文档。

关于Solr Cloud的运维由于个人也没有太多经验，所以也不能随便给出具体的建议。不过有一点是确定的，一定要精通Solr 提供的一系列Shell脚本，这是些脚本命令是管理Solr的瑞士军刀。

后言

最后推荐一些我学习Solr过程中对我有帮助的Blog，以供参考，下面这两位博主对Solr和Lucene有不错的见解，也翻译了部分Solr文档，我觉得还不错，可以参考。
https://my.oschina.net/zengjie/blog
http://blog.csdn.net/lzx1104/article/category/2223439

关于使用一些产品、框架，个人认为最好还是去阅读官方文档，要相信一手的东西永远比二手的好。

至此，关于如何使用Solr的分享就告一段落了。时间仓促，该系列文章难免会出现很多不完善的地方，请大家包含。如果在阅读的过程中发现一些纰漏希望可以告诉我，我会完善她。