单机搭建elasticsearch和mongodb river的数据同步

网上有许多elasticsearch和mongodb之间通过elasticsearch的mongodb-river插件建立管道的文章，这些文章都有一个要求：需要一个mongodb的集群，也就是需要至少两个mongodb的实例。原因也好理解：river插件是通过读取mongodb的oplog.rs这个表来同步mongodb中的更新的，而要oplog.rs只有在replicset中才能生效。所以

本文的重点也就变成了如何在一个mongodb的实例下搭建replicset环境了。

总之，三个步骤：
测试环境 elasticsearch 1.1.X + mongodb 2.4.6 + centos 6.5

搭建单机replicSet
安装mongodb-river插件
验证
搭建replicSet

这个问题其实网上已经有现成的方案了，略

这里摘录关键的两步：

1、配置/etc/mongodb.conf

增加两个配置：

replSet=rs0 #这里是指定replSet的名字
oplogSize=100 #这里是指定oplog表数据大小（太大了不支持）

2 初始化replicSet

rs.initiate( {"_id" : "rs0", "version" : 1, "members" : [ { "_id" : 0, "host" : "127.0.0.1:27017" } ]})

结果

搭建好replicSet之后，在mongo shell中的提示符会变成：

rs0:PRIMARY>
安装 mongodb-river插件

插件在此：
https://github.com/richardwilly98/elasticsearch-river-mongodb

基本上可以分为两步：

准备jar包
创建meta信息
1、两个必须的jar包（elasticsearch-river-mongodb-1.6.2-SNAPSHOT.jar和mongo-java-driver-2.10.1.jar）放到es_home/plugins/mongodb_river

其中mongodb_river是自定义的一个名字。

2、创建meta信息

curl -XPUT "localhost:9400/_river/mongodb_application/_meta" -d '
{
"type": "mongodb",
"mongodb": {
    "host": "localhost",
    "port": "27017",
    "db": "application",
    "collection": "page"
},
"index": {
    "name": "application",
    "type": "page"} }
'
主要分为三个部分：

type：river的类型，也就是“mongodb”

mongodb：mongodb的连接信息

index：elastisearch中用于接收mongodb数据的index和“type”。

验证结果

curl "http://localhost:9200/_river/mongodb_application/_meta"

验证

另外如果只想索引并同步部分字段可以这样

curl -XPUT "localhost:9200/_river/tbJobResume/_meta" -d '
{
"type": "mongodb",
"mongodb": {
    "host": "192.168.1.7",
    "port": "37017",
    "db": "MongoModelJobResume",
    "collection":"tbJobResume",
    "options":{
      "include_fields":["WorkMode","Phone","PositionIntends","WorkStatus","NetName"]
}
},
"index": {
    "name": "resume",
    "type": "tbJobResume"}
 }'

针对同样的表建不同的索引可以这样

curl -XPUT "localhost:9200/_river/tbJobResume2/_meta" -d '
{
"type": "mongodb",
"mongodb": {
    "host": "192.168.1.7",
    "port": "37017",
    "db": "MongoModelJobResume",
    "collection":"tbJobResume",
    "options":{
      "include_fields":["WorkMode","Phone","PositionIntends","WorkStatus","NetName"]
}
},
"index": {
    "name": "resume2",
    "type": "tbJobResume"}
 }'

在mongo里插入一条数据，在对应的elasticsearch里就会有相应的数据。

一个问题在river建立之后的数据变动会体现在elasticsearh里，但是river建立前的数据变动因为没有在oplog表里，所以不能被同步。我的解决方案是，遍历一次需要导出的表，重新插入到另外一个表里，然后将river指定到这个新表，这样新表的变动就可以全部体现在oplog里了。

遍历mongodb的表可以通过cursor来实现：


var myCursor = db.page.find( {  }, {html:0} );
myCursor.forEach(function(myDoc) {db.application.save(myDoc); });

其中page是老表，application是新表（database名字也叫application，不要弄错）

注：在单机上也可以通过运行多个mongod实例(指定不同的端口)构建mongodb replicSet,同在多台服务器搭建类似