Solr与MongoDB集成，实时增量索引

一. 概述

 

　　大量的数据存储在MongoDB上，需要快速搜索出目标内容，于是搭建Solr服务。

　　另外一点，用Solr索引数据后，可以把数据用在不同的项目当中，直接向Solr服务发送请求，返回xml、json等形式的内容，使得对数据的使用更灵活。

 

　　对于MongoDB与Solr的描述不在这里阐释了，本文旨在给大家提供整个Solr与MongoDB接合的方法，实现实时的增量索引。

　　MongoDB的官网：http://www.mongodb.org/

　　Solr项目的主页：http://lucene.apache.org/solr/

 

二. 寻找解决方案

 

　　既然有了目标是讲Solr跟MongoDB接到一起，那么就开始想想解决的方案。

 

　　网上搜了一些资料之后，汇总了下面三个方案：

　　1. 使用Solr的DataImport功能（Data Import）

　　　　我们先来看看Solr Wiki上对于DataImport功能的描述http://wiki.apache.org/solr/DataImportHandler

　　　　Most applications store data in relational databases or XML files and searching over such data is a common use-case.The DataImportHandler is a Solr contrib that provides a configuration driven way to import this data into Solr in both "full builds" and using incremental delta imports.

　　　　对于存储在关系型数据库及XML上的数据，Solr提供了DataImportHandler去实现全量和增量索引。

 

　　　　啥？人家没说支持NoSQL啊，不信，我看清楚一点。

　　　　Wiki中的内容只给出了Usage with RDBMS 和 Usage with XML/HTTP Datasource，貌似Solr目前是不支持对于NoSQL的DataImport的。

　　　　有兴趣的朋友可以尝试给Solr添加一个Mongo的DataImportHandler，可能还要写底层的Mongo驱动，工程量可能很大。

　　　　关键是这个方案不可控，成本可能会很大，因此我就不采取这种方式了。

 

　　　　在这里给大家分享一篇文章，Solr与MySQL集成指南

　　　　确实DataImport这个功能还是比较强大的，而且对MySQL也支持得很好，本人尝试一下将Solr跟MySQL集成起来，配置过程也很简单。

　　　　不过MySQL不是本文的重点，跑题了，因此只是尝试了一下，没有深入。

 

　　2. 使用脚本语言读取MongoDB中的数据（Script Update）

　　　　说白了就是读取整个Collection中的数据，遍历。

　　　　这种方案是最直观的，但不优雅，复用性、可维护性低，

　　　　最严重的问题在于性能，当数量级在百万以下，那还是可以接受的，一旦数据继续增长，那性能问题就凸显出来了。

　　　　然而要是你还想用这种方案，那这里还有一个需要考虑的问题，你是打算每次遍历的时候对Solr进行全量还是增量索引呢？

　　　　全量的话就直接overwrite，事情也好办；增量的话，Mongo中删除了的数据你咋整呢？

 

　　　　总而言之，不推荐这种方案，它的复杂度问题很明显，无论是时间上还是空间上。

 

　　3. 使用MongoDB的oplog功能（Oplog Update）

　　　　MongoDB支持集群，集群中的实例进行通信，很自然地想到它们会记录log，在MongoDB中称之为oplog（operation log），类似与MySQL的binlog。

　　　　我们可以看看MongoDB官网上对oplog的描述 http://docs.mongodb.org/manual/reference/program/mongooplog/

　　　　

　　　　如果现在你还想用上面方案2的话，那oplog的存在必然是对你的工作带来极大便利的。

　　　　其一，oplog是实时记录的，配合tailable cursor，可以实现实时的更新Solr索引，见http://derickrethans.nl/mongodb-and-solr.html

　　　　其二，实现优雅，增量的新增删除的判断时间复杂度变为O(1)

 

　　　　看到这里，你想用oplog来实现Solr与MongoDB的集成，那需要理清下面几个问题：

　　　　（1）mongooplog如何开启，怎么配置才适合

　　　　（2）Mongo Tailable Cursor是怎么一回事

　　　　（3）使用什么语言，选择合适的Solr Client

　　　　（4）服务器宕机恢复后的处理

 

 

三. 最终方案，mongo-connector

 

　　当我性高彩烈地动手实现方案3的时候，我看到了这个http://blog.mongodb.org/post/29127828146/introducing-mongo-connector

　　竟然找到了一个mongo-solr的connector，当时那个心情真叫欣喜若狂啊。

　　它完全就是方案3的实现啊！提到的问题它都解决了，而且使用Python正好适合这个项目，一切来得太突然。

 

　　Git地址：https://github.com/10gen-labs/mongo-connector

　　但是配置的过程都搞了我很久，后文将整个过程记录下来

 

 

四. 项目环境及工具版本

 

　　在本地测试，服务器：Windows7 32-bit

　　MongoDB：mongodb-win32-i386-2.4.5

　　Tomcat 6

　　Python：2.7.4

　　Solr：4.5.1

　　mongo-connector：没有提供版本号

　　Python pysolr模块

　　Python pymongo模块

　　Python lxml模块：lxml-3.2.3.win32-py2.7

 

　　可能还需要一些模块，但由于我在之前已经安装了，没有列举出来。如果运行的过程中报module not found，就去安装吧~

 

 

五. Solr端准备

 

　　这里默认你已经部署Solr成功，详细的部署过程自行Google。

　　这里主要是讲述与本次测试相关的配置。

 

　　使用的是solr example中的multicore例子，以其中的core0为例子

　　schema.xml文件如下：修改_id与Mongo对应，只留下一个name字段，为String类型

　　

　　其它的配置不需要修改

　　把它放到Tomcat中运行吧，检查是否已经配置成功

 

 

六. MongoDB端准备

 

　　看到mongo-connector项目中的说明，

　　Since the connector does real time syncing, it is necessary to have MongoDB running, although the connector will work with both sharded and non sharded configurations. It requires a replica set setup.

　　就算我们开启了oplog也不行，还需要在Mongo中启动一个replica set

　　

　　1. 配置replica set

　　　　（1）

　　　　我的MONGO_HOME为 D:\mongodb

　　　　目录树如下：

　　　　-rs　　(d)

　　　　|----db　　(d)　　mongo数据文件文件存放的目录

　　　　　　|----rs1　　(d)　　rs1实例数据文件存放的目录

　　　　　　|----rs2　　(d)　　rs2实例数据文件存放的目录

　　　　|----log　　(d)　　log文件存放的目录

　　　　　　|----rs1.log　　(f)　　rs1实例的log文件

　　　　　　|----rs2.log　　(f)　　rs2实例的log文件

　　　　|----mongod-rs1.bat　　rs1实例的启动脚本

　　　　|----mongod-rs2.bat　　rs2实例的启动脚本

 

　　　　mongod-rs1.bat内容如下：　　　　

　　　　D:\mongodb\bin\mongod --port 27001 --oplogSize 100 --dbpath db\rs1 --logpath log\rs1.log --replSet rs/127.0.0.1:27002 --journal
　　　　pause

　　　　mongod-rs2.bat内容如下：　　　

　　　　D:\mongodb\bin\mongod --port 27002 --oplogSize 100 --dbpath db\rs2 --logpath log\rs2.log --replSet rs/127.0.0.1:27001 --journal
　　　　pause

 

　　　　（2）执行两个脚本，启动两个mongod实例

 

　　　　（3）但这时它们还没组成一个replica set，还需要进行配置，开启mongo，连上localhost:27001，也就是实例rs1

　　　　

 

　　　　

 

　　　　

 

　　　　

　　　　

　　　　至此，配置完成。

 

 

七. mongo-connector准备

 

　　如果是在mongo example中的multicore默认的配置上修改的话，访问http://localhost:8080/solr/core0/admin/luke?show=Schema&wt=json

　　应该是能看到JSON形式的core0的schema

 

　　打开mongo_connector/doc_managers/solr_doc_manager.py

　　进行如下修改：1.从util引入verify_url；2. ADMIN_URL修改为获取Solr核core0的JSON形式schema的URL的后半部分，因为要根据schema中的fields进行索引

　　

 

　　在Solr多核的情况下启动mongo-connector，会报出Solr URL访问错误，它期望你传入http://localhost:8080/solr，

　　但http://localhost:8080/solr/core0才是实际起作用的，因此我们需要传入这个作为BASE_URL

　　解决办法如下：屏蔽掉url检查就行了

　　

 

　　接下来就是启动mongo-connector了，启动命令如下：

　　C:\Users\gmuser\Desktop\mongo_connector>python mongo_connector.py -m localhost:2 7001 -t http://localhost:8080/solr/core0 -o oplog_progress.txt -n test.test  -u _id -d ./doc_managers/solr_doc_manager.py

　　

　　-m　　Mongod实例的访问路径

　　-t　　Solr的BASE_URL

　　-o　　记录oplog处理时间戳的文件

　　-n　　mongo命名空间，是监听哪个database哪个collection的设置，以逗号分隔多个命名空间，这里是监听test库中的test集合

　　-d　　就是处理doc的py文件

　　

　　启动结果如下：说明你的配置已经成功了

　　

 

 

八. 测试增量索引

 

　　先看看Solr中core0的状态：现在是没有记录的，Num Docs为0

　　

 

　　往MongoDB中插入一条数据：需要包含name字段，还记得我们上面的schema.xml吗？

　　

 

　　查看mongo-connector的输出：update了一条记录

　　

 

　　看看Solr现在的状态：我们看到了刚才插入的

　　

 

　　尝试删除掉刚才那条记录，connector输出如下：多了一条update的记录，这次是

　　

 

　　再看看Solr的状态：刚才那条记录没了，删除成功！

　　

 

 

九. 一些说明

 

　　mongo-connector会在oplog_progress.txt中记录时间戳，可以在服务器宕机恢复后索引Mongo oplog新增的数据，记录如下：

　　["Collection(Database(MongoClient([u'127.0.0.1:27001', u'127.0.0.1:27002']), u'local'), u'oplog.rs')", 5941530871067574273]

 

　　mongo-connector的代码并不复杂，想想上面上面方案3怎么实现，那它就是怎么做的了。

　　有些地方还是要根据我们项目进行一些修改的。