Neo4j与ElasticSearch数据同步

Neo4j与ElasticSearch数据同步

针对节点删除，加了一些逻辑，代码地址

背景

需要强大的检索功能，所有需要被查询的数据都在neo4j。

方案

• 在Server逻辑中直接编写。后端有一个Storage类。当有新数据通过RestAPI存入Neo4j时，同时存一份到ElasticSearch
• 编写Neo4j插件。Neo4j本身不支持Trigger。但是可以通过插件实现类似功能

方案的选择采用第二种，原因有二

• 集中式的数据同步处理，比分散式上层逻辑数据同步处理 稳定性和可维护性更高
• Neo4j开源仓储提供了Neo4j-ElasticSearch插件，虽然不满足我们的需求，但是可以为编写代码提供极大的参考。

插件试用

实验环境： Ubuntu16.04 Docker 17.12.1-ce （由于采用Docker，环境对实验影响不大）

实验环境搭建

• 下载最近版本(3.2.x)的Jar包

wget https://github.com/neo4j-contrib/neo4j-elasticsearch/releases/download/3.2.3/neo4j-elasticsearch-3.2.3.jar

• 启动ES容器，该插件用的Jest 2.0.2版本。但是我们使用ElasticSearch2.3也没什么问题

docker run -p 9200:9200 -d --name es elasticsearch:2.3

• 启动neo4j容器， 并挂载磁盘

docker run -p 7474:7474 -p 7687:7687 -v /home/bonsai/Demo/conf:/var/lib/neo4j/conf  -v /home/bonsai/Demo/plugins:/var/lib/neo4j/plugins --name neo -d  --link es:es neo4j:3.2.3

• cp插件到plugins文件夹

cp neo4j-elasticsearch-3.2.3.jar /home/bonsai/Demo/plugins

• 增加配置 vim /home/bonsai/Demo/conf/neo4j.conf

elasticsearch.host_name=http://es:9200
elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)

• 去除默认密码修改限制

docker exec neo /bin/bash -c "echo 'neo4j:SHA-256,BC43474518A71BA7BEB54461F769A76195226474BFE892FF2562211DFD8043FA,B6070629C73CE74455674D39D65BA3DF:' > data/dbms/auth"

• 重启Neo4j容器

docker restart neo

• 验证neo4j成功加载配置docker exec neo cat /var/lib/neo4j/logs/debug.log | grep elastic
  
  

  成功加载配置

功能使用

在Neo4j-ElasticSearch插件中，引用了index_spec这个配置。具体实现细节下节分析。试用的时候只要知道我们定义了

elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)

表示会将Person标签的Node的first_name与last_name属性存入ES people索引中，会将Place标签的Node的name属性存入ES places索引中

节点创建

curl -X POST \
  http://localhost:7474/db/data/cypher \
  -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  -H 'content-type: application/json' \
  -d '{
  "query" : "CREATE (n:Person { first_name : {firstname}, last_name: {lastname} }) RETURN n",
  "params" : {
    "firstname" : "Bonsai",
    "lastname": "Y"
  }
}
'

成功创建后访问ES数据库查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

image.png

修改节点

curl -X POST \
  http://localhost:7474/db/data/cypher \
  -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  -H 'content-type: application/json' \
  -d '{
  "query" : "MATCH (n:Person) SET n.first_name = { newfirstname } RETURN n",
  "params" : {
    "newfirstname" : "new_bonsai"
  }
}'

成功修改后访问ES数据库查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

修改节点

• 删除node

curl -X POST \
  http://localhost:7474/db/data/cypher \
  -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  -H 'content-type: application/json' \
  -d '{
  "query" : "MATCH (n:Person) Delete n"
}'

成功删除后访问ES数据库查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

删除节点