图数据库Neo4j集成springboot及导入数据踩坑问题

----------------------------------常用cql------------------------------------

删除所有节点

match(n) detach delete n

删除指定节点

match(n:sary) detach delete n

删除所有关系

match ()-[r]-() delete r

删除指定关系

match ()-[r:ZJ]-() delete r

查看所有节点

match(n) return n

查看某种节点

MATCH (n:sary) RETURN n LIMIT 25

查看总节点数

match(n) return count(n)

删除所有关系节点

match(n:RaRelationship) detach delete n

删除所有关系

match ()-[r]-() delete r

------------------------------手动导入数据--------------------------------------

导入节点
导入之前 需要给csv文件加上表头,且表头每个字段之间不能有空格

导入节点

#人员person
LOAD CSV WITH HEADERS FROM ‘file:///person.csv’ as row
MERGE (person:person {personsfzh:row.personsfzh}) on create set
person.personxm=row.personxm,person.personsjh=row.personsjh

#部门dept
LOAD CSV WITH HEADERS FROM ‘file:///dept.csv’ as row
MERGE (dept:dept {ajbh:row.ajbh}) on create set
dept.ajmc=row.ajmc,dept.jyaq=row.jyaq,dept.dplx=row.dplx,dept.lasj=row.lasj

导入关系

导入人-部门关系节点(使用)

#先清空
match(n:RaRelationship) detach delete n
#再导入
LOAD CSV WITH HEADERS FROM ‘file:///ra_relationship.csv’ as row
match (from:person {personsfzh: row.personsfzh})
match (to:dept {ajbh: row.ajbh})
create (relationship:RaRelationship)
set relationship.personjs=row.personjs,relationship.personzt=row.personzt,relationship.type=row.type
merge(from)<-[:PERSON]-(relationship)
merge(relationship)-[:DEPT]->(to)

#导入人-部门关系（目前不使用）
LOAD CSV WITH HEADERS FROM ‘file:///RA_relatitionship.csv’ as row
MATCH (person:person {personsfzh: row.personsfzh})
MATCH (dept:dept {ajbh: row.ajbh})
MERGE (person)-[:RaRelationship]->(dept)

#注意
关系与关系节点是不一样的，关系就是直接两个点之间的一条线，关系节点实际上是节点，只不过他有startNode和endNode，可以连接2个指定实体节点，所以也可以看作是一种关系

------------------------------导入数据方式--------------------------------------

1.Java内部使用api导入

2.使用csv文件 通过命令 load csv xxxxxx， 如上面

3.使用neo4j-admin在服务器内导入 （查到的部分资料表示：这种方式导入数据需要清空库，不能增量，只能全量导入）

4.使用第三方工具如apoc

-----------------------neo4j集成springboot------------------

版本

4.4

依赖 （注意 依赖版本与neo4j版本需要严格对应）

	
		org.springframework.boot
		spring-boot-starter-data-neo4j
		2.3.5.RELEASE
	
	
		org.neo4j
		neo4j-ogm-core
		3.2.41
	

配置

spring:
  neo4j:
    uri: bolt://127.0.0.1:7687
    authentication:
      username: neo4j
      password: neo4j

logging:
  level:
    org.neo4j.ogm.drivers.bolt.request.BoltRequest: DEBUG
    org.neo4j.driver: INFO

--------------------------踩坑----------------------

1. neo4j版本和集成springboot的依赖版本需要严格对应，跟jdk版本也要对应，4版本的至少要jdk13

2. 网上查到的资料大部分都是用neo4j3.5版本的，如果使用的是4或5版本，有很多都是过时的

3. 使用load csv导入数据，对数量有要求，大概超过2w行的，会报内存不足，这时候需要改用其他方式了，官网说可以使用批量提交，但是试了下，发现会报隐式事务问题，4.4版本需要安装apoc才行。

4. 考虑到数据源是在mysql那边，且需要同步更新，全量计算，最后选择使用在java内建定时任务去同步、更新数据。

5. 如果使用java里面的api导入数据，save和saveAll效率都会比较慢，但是也不能直接使用多线程、并发，会报死锁之类的报错。
   查到的资料是说neo4j的api都是线程安全的，所以不能使用多线程导入数据之类的 没太看懂

解决办法：
4.1 先修改配置文件，开启多线程 dbms.threads.worker_count=12， 大小参照服务器核数（这个是4.4的配置，其他版本的配置不一样）
4.2 java内，使用并发流parallelStream()来save数据，但是这里有个问题，也会偶尔出现死锁之类的报错，但是比较少（还没找到原因）
4.3 最后选择加入信号量semaphore来控制，这样基本不会出现死锁之类的问题了，（好像还是会有 但很少了 基本没出现过）

			  dataList.parallelStream()
                    .forEach(item -> {
                        try {
                            semaphore.acquire();
                            rARelationshipRepository.save(item);
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        } finally {
                            semaphore.release();
                        }
                    });

4.4 由于还是有概率出现报错，最后选择try-catch，然后在catch模块使用分批导入，这样慢但是安全
for (List datas : ListUtil.split(dataList, 1000)) {
rARelationshipRepository.saveAll(datas)
}
这块没太多去研究neo4j并发导入数据，做得不是很好，勉强能用。

6. 需要注意上面引生的问题，如果使用了xxljob之类的定时任务中间件，如果出现neo4j并发问题、死锁之类的，会直接阻塞住，导致任务一直卡住，所以任务中一定要防止并发问题

7. 对于如何高效率导入数据到neo4j，网上大多还是建议使用apoc插件，在java内部导入还是太麻烦了，并且apoc可以直接从mysql更新到neo4j中，但是这块就没去研究了。

–第一次使用，时间赶还有很多地方都不清楚，一步一坑，有错误的地方还望指出。