neo4j-运维篇

1. 数据导入导出

1.1 导入

1.1.1 CREATE 语句

为每一条数据写一个CREATE:

CREATE (:label {property1:value, property2:value, property3:value} )

1.1.2 LOAD CVS 语句

将数据转化为CSV格式，通过 LOAD CSV读取数据；

using periodic commit 1000
load csv from "file:///fscapture_screencapture_syscall.csv" as line
create (:label {a:line[1],b:line[2],c:line[3],d:line[4],e:line[5]})

这里使用了语句USING PERIODIC COMMIT 1000，使得每1000行作为一次Transaction提交

1.1.3 neo4j-import工具

官方提供的工具

/bin/neo4j-import --into ./data/databases/test.db --nodes ../neo4j-import/EndVertexData.csv --nodes ../neo4j-import/VertexData.csv --relationships ../neo4j-import/EdgeData.csv

1.1.4 对比

item	CREATE语句	LOAD CSV语句	Neo4j-import
适用场景	1 ~ 1w nodes	1w ~ 10 w nodes	千万以上 nodes
速度	很慢 (1000 nodes/s)	一般 (5000 nodes/s)	非常快 (数万 nodes/s)
优点	使用方便，可实时插入。	使用方便，可以加载本地/远程CSV；可实时插入。	官方出品，占用更少的资源
缺点	速度慢	需要将数据转换成CSV	需要转成CSV；必须停止neo4j；只能生成新的数据库，而不能在已存在的数据库中插入数据。

1.1.5 结论

1. 如果项目刚开始，想要将大量数据导入数据库，Neo4j-import是最好的选择。
   
2. 如果数据库已经投入使用，且不能容忍Neo4j的临时关闭，那么LOAD CSV是最好的选择。
   
3. 最后，如果只是想插入少量的数据，且不怎么在乎实时性，那么请直接看Cypher语言。

1.2 导出

1.2.1 参考文档

cypher导出

1.2.2 语法

curl -H accept:application/json -H content-type:application/json \
-H Authorization:bmVvNGo6cGFzc3dvcmQ= \
-d '{"statements":[{"statement":"Match (n)-[r]->(m) return distinct id(r) as id, n.id as START_ID, m.id as END_ID, r.createTime as createTime, r.updateTime as updateTime, r.namespace as namespace, r.time as time"}]}' \
http://192.168.6.89:7474/db/data/transaction/commit | \
jq -r '(.results[0]) | .columns,.data[].row | @csv' >> all_relationships.csv

neo4j监控

windows企业版，使用windows power shell ,进入neo4j 文件目录，执行.\neo4j.bat status|start|stop 命令启用停止查看neo4j服务

call dbms.listQueries()

企业版效果,而且命令会有自动补全：

listQueries

企业版导入数据非常的快

导入1

导入2

社区版效果：

社区版导入

call dbms.killQuery("query-id")

dbms.transaction.timeout=10s

1. 此时设置的事务超时时间为3s

   
   
   

   3s事务

2. 此时设置的为5s

5s事务

3. 此时设置的为15s

15s事务

General-purpose metrics

Database Checkpointing Metrics

• [x] 目前为止总共执行的检查点事件
• [x] 目前为止检查点所花费的时间
• [x] 检查点期间

Database Data Metrics

• [x] 数据库中关系类型数
• [x] 数据库中属性名数
• [x] 数据库中关系条数
• [x] 数据库中节点个数

Database PageCache Metrics

• [x] 使用页面缓存时因清除导致的异常次数
• [x] 页面缓存使用的次数
• [x] 页面缓存被更新的次数
• [x] 页面缓存执行引脚总数
• [x] 页面缓存执行拆迁总数
• [x] 页面缓存发生的错误总数
• [x] 页面缓存中标总数
• [x] 使用页面缓存的点击率

Database Transaction Metrics

• [x] 开启的事务总数
• [x] 数据库并发事物的最高点
• [x] 当前在执行的事务数量
• [x] 当前在执行的读取事务数量
• [x] 当前在执行的写入事务数量
• [x] 所有已提交事务数量
• [x] 所有已提交的读取事务数量
• [x] 所有已提交的写入事务数量
• [x] 所有的回滚事务数量
• [x] 所有被终止的事务数量
• [x] 所有被终止的读取事务数量
• [x] 所有被终止的写入事务数量
• [x] 最后提交事务的id
• [x] 最后被关闭事务的id

Cypher Metrics

• [x] Cypher重新规划查询所花费的所有时间

Database LogRotation Metrics

• [x] 目前为止事务日志轮训执行的总数
• [x] 目前为止事务日志轮训执行所费总时
• [x] 日志轮训间隔

Network Metrics

• [x] 事务数据从一个slvave传输到master上提交的总字节数
• [x] 从一台机器拷贝数据存储到另一台的总字节数
• [x] 事务数据从master传输到一个slave上传播提交的事务的总字节数

Cluster Metrics

• [x] 在当前实例上执行的更新拉的总数
• [x] 目前为止在当前实例上进行的所有更新拉中最高的事务id
• [x] 当前实例是否为master节点
• [x] 当前节点在集群中是否可用

Core Metrics

• [x] 追加RAFT日志索引
• [x] 提交RAFT日志索引
• [x] Server上的RAFT
• [x] 尝试提交事务时Leader not found
• [x] 事务重试
• [x] 此server是否为leader
• [x] 丢掉了多少RAFT数据信息
• [x] 多少RAFT数据在队列中

Java Virtual Machine Metrics

• [x] Server上的raft提交索引表明有多少事务已经成功提交到Raft日志中
• [x] Server上的追击索引表明有多少事务被追加（不一定要提交）到raft日志中
• [x] Raft term表明此server上曾经对leader的选举次数
• [x] 当前server不能为raft协议定位Leader的次数
• [x] 当前server接受到的事务日志传送次数
• [x] 当前server上重试事务的次数
• [x] 当前server是否扮演raft leader 角色
• [x] 因为通讯问题导致的当前server与其他核心server间信息被drop的次数
• [x] 向core server的out raft 消息的聚合队列大小

Read replica

• [x] 当前server上执行的异步更新请求事务
• [x] 当前server从 core servers 上接收到的最高事务id
• [x] 当前server 从core servers 上接收到的最后事务id

Logging

The features described in this section are available in Neo4j Enterprise Edition

Query logging

dbms.logs.query.enabled = true

4. BackUp

The backup features are available in Neo4j Enterprise Edition.

执行命令：

bin/neo4j-admin backup --from=127.0.0.1 --backup-dir=/backup --name=graph.db-
backup

备份

备份

完成备份：

备份

增量备份

首先关闭Neo4j

neo4j-home> bin/neo4j stop
neo4j-home>bin/neo4j-admin restore --from=/mnt/backup/graph.db-backup --database=graph.db –force

neo4j-home> bin/neo4j start