图数据库Neo4j集成springboot及导入数据踩坑问题

文章目录

  • ----------------------------------常用cql------------------------------------
      • 删除所有节点
      • 删除指定节点
      • 删除所有关系
      • 删除指定关系
      • 查看所有节点
      • 查看某种节点
      • 查看总节点数
      • 删除所有关系节点
      • 删除所有关系
  • ------------------------------手动导入数据--------------------------------------
      • 导入节点
      • 导入人-部门关系节点(使用)
  • ------------------------------导入数据方式--------------------------------------
  • -----------------------neo4j集成springboot------------------
      • 版本
      • 依赖 (注意 依赖版本与neo4j版本需要严格对应)
      • 配置
  • --------------------------踩坑----------------------

----------------------------------常用cql------------------------------------

删除所有节点

match(n) detach delete n

删除指定节点

match(n:sary) detach delete n

删除所有关系

match ()-[r]-() delete r

删除指定关系

match ()-[r:ZJ]-() delete r

查看所有节点

match(n) return n

查看某种节点

MATCH (n:sary) RETURN n LIMIT 25

查看总节点数

match(n) return count(n)

删除所有关系节点

match(n:RaRelationship) detach delete n

删除所有关系

match ()-[r]-() delete r

------------------------------手动导入数据--------------------------------------

导入节点
导入之前 需要给csv文件加上表头,且表头每个字段之间不能有空格

导入节点

#人员person
LOAD CSV WITH HEADERS FROM ‘file:///person.csv’ as row
MERGE (person:person {personsfzh:row.personsfzh}) on create set
person.personxm=row.personxm,person.personsjh=row.personsjh

#部门dept
LOAD CSV WITH HEADERS FROM ‘file:///dept.csv’ as row
MERGE (dept:dept {ajbh:row.ajbh}) on create set
dept.ajmc=row.ajmc,dept.jyaq=row.jyaq,dept.dplx=row.dplx,dept.lasj=row.lasj

导入关系

导入人-部门关系节点(使用)

#先清空
match(n:RaRelationship) detach delete n
#再导入
LOAD CSV WITH HEADERS FROM ‘file:///ra_relationship.csv’ as row
match (from:person {personsfzh: row.personsfzh})
match (to:dept {ajbh: row.ajbh})
create (relationship:RaRelationship)
set relationship.personjs=row.personjs,relationship.personzt=row.personzt,relationship.type=row.type
merge(from)<-[:PERSON]-(relationship)
merge(relationship)-[:DEPT]->(to)

#导入人-部门关系(目前不使用)
LOAD CSV WITH HEADERS FROM ‘file:///RA_relatitionship.csv’ as row
MATCH (person:person {personsfzh: row.personsfzh})
MATCH (dept:dept {ajbh: row.ajbh})
MERGE (person)-[:RaRelationship]->(dept)

#注意
关系与关系节点是不一样的,关系就是直接两个点之间的一条线,关系节点实际上是节点,只不过他有startNode和endNode,可以连接2个指定实体节点,所以也可以看作是一种关系

------------------------------导入数据方式--------------------------------------

1.Java内部使用api导入

2.使用csv文件 通过命令 load csv xxxxxx, 如上面

3.使用neo4j-admin在服务器内导入 (查到的部分资料表示:这种方式导入数据需要清空库,不能增量,只能全量导入)

4.使用第三方工具如apoc

-----------------------neo4j集成springboot------------------

版本

4.4

依赖 (注意 依赖版本与neo4j版本需要严格对应)

	
		org.springframework.boot
		spring-boot-starter-data-neo4j
		2.3.5.RELEASE
	
	
		org.neo4j
		neo4j-ogm-core
		3.2.41
	

配置

spring:
  neo4j:
    uri: bolt://127.0.0.1:7687
    authentication:
      username: neo4j
      password: neo4j

logging:
  level:
    org.neo4j.ogm.drivers.bolt.request.BoltRequest: DEBUG
    org.neo4j.driver: INFO

--------------------------踩坑----------------------

  1. neo4j版本和集成springboot的依赖版本需要严格对应,跟jdk版本也要对应,4版本的至少要jdk13

  2. 网上查到的资料大部分都是用neo4j3.5版本的,如果使用的是4或5版本,有很多都是过时的

  3. 使用load csv导入数据,对数量有要求,大概超过2w行的,会报内存不足,这时候需要改用其他方式了,官网说可以使用批量提交,但是试了下,发现会报隐式事务问题,4.4版本需要安装apoc才行。

  4. 考虑到数据源是在mysql那边,且需要同步更新,全量计算,最后选择使用在java内建定时任务去同步、更新数据。

  5. 如果使用java里面的api导入数据,save和saveAll效率都会比较慢,但是也不能直接使用多线程、并发,会报死锁之类的报错。
    查到的资料是说neo4j的api都是线程安全的,所以不能使用多线程导入数据之类的 没太看懂

解决办法:
4.1 先修改配置文件,开启多线程 dbms.threads.worker_count=12, 大小参照服务器核数(这个是4.4的配置,其他版本的配置不一样)
4.2 java内,使用并发流parallelStream()来save数据,但是这里有个问题,也会偶尔出现死锁之类的报错,但是比较少(还没找到原因)
4.3 最后选择加入信号量semaphore来控制,这样基本不会出现死锁之类的问题了,(好像还是会有 但很少了 基本没出现过)

			  dataList.parallelStream()
                    .forEach(item -> {
                        try {
                            semaphore.acquire();
                            rARelationshipRepository.save(item);
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        } finally {
                            semaphore.release();
                        }
                    });

4.4 由于还是有概率出现报错,最后选择try-catch,然后在catch模块使用分批导入,这样慢但是安全
for (List datas : ListUtil.split(dataList, 1000)) {
rARelationshipRepository.saveAll(datas)
}
这块没太多去研究neo4j并发导入数据,做得不是很好,勉强能用。

  1. 需要注意上面引生的问题,如果使用了xxljob之类的定时任务中间件,如果出现neo4j并发问题、死锁之类的,会直接阻塞住,导致任务一直卡住,所以任务中一定要防止并发问题

  2. 对于如何高效率导入数据到neo4j,网上大多还是建议使用apoc插件,在java内部导入还是太麻烦了,并且apoc可以直接从mysql更新到neo4j中,但是这块就没去研究了。

–第一次使用,时间赶还有很多地方都不清楚,一步一坑,有错误的地方还望指出。

你可能感兴趣的:(数据库,数据库,neo4j,spring,boot)