知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》

一、《工控系统信息安全知识图谱构建研究方法》

(一)原型系统设计与实现

5.1需求分析

1、知识图谱功能:数据存储+信息挖掘

其中,工控系统信息安全知识图谱的应用可分为两个方面,一方面知识图 谱是数据的一种存储手段,可以作为数据库实现基础应用。此外,知识图谱还可以通 过其大规模关联特性来挖掘隐含信息,进而实现图谱上层应用。
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第1张图片

5.2原型系统总体架构

知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第2张图片

5.3原型系统实现

1、爬虫好好玩,有时间也想自己弄一个
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第3张图片2、知识存储@neo4j
还是就数据结构和数据挖掘进行论述

Neo4j 图数据库是以图的结构形式来存储数据,因此其存 储的内容代表关联数据本身,利用其构建工控系统信息安全知识图谱,一方面可以高 效地存储和应用数据,同时还可以借助图数据库的优势挖掘数据之间关联关系,创造 新的价值,满足系统需求。

2、据此粗浅猜测,分三步走:
(1)定义模式层
(2)导入数据,并根据模式层形成三元组【这里的实体-关系-实体,中的关系是确定的吧?要不然还要经过判断才能形成三元组】
(3)导入neo4j数据库

基于此系统创建了工控系统信息安 全知识图谱的模式层,
接下来读取相应 JSON 文件当中的实体和属性数据并赋予本 体制定的相关关系形成三元组,
最后将三元组输入到 Neo4j 数据库当中
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第4张图片

3、知识应用
此处实现了一个实体查询的功能,但是返回的具体是什么内容并没有描述清楚。

本文在基础应用的层面实现了实体查询的基本功能。实体查询功能的实现方法 是业务层收到来自应用层的输入后,结合 Neo4j 当中的 Cypher 语法对数据库进行搜 索得到输入的实体信息以及附近的关系和节点,然后将结果以图的形式返回至页面, 其功能时序图如图 5-7 所示。

《暗网威胁情报知识图谱构建技术研究》

点评:该论文深度一般,论文第五部分知识图谱的应用具有一定参考价值。

2.3知识图谱相关技术

1、一般都分为三个阶段:数据获取+数据结构化+数据应用(构建图谱后)
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第5张图片

5.2.3 基于规则定义的市场图谱

本章节利用网络威胁情报数据源和暗网非法市场数据源,借助 Neo4j 可视化 工具对威胁情报中的实体和特征信息进行图谱构建,实现对网络威胁情报的可视 化分析,直观的了解数据特征,观察网络威胁情报实体之间的关系,针对暗网市场 以卖家节点为核心构建交易图谱,记录卖家详细的销售记录得到更准确的交易信 息,了解暗网市场的关系和交互、交易模式、网络结构和运作模式,为执法机构提 供更多的线索和依据来监测非法交易。

导入数据

创建图谱的主要步骤为定义一个函数用于创建图谱中的节点和关系,该函数 将使用参数 vendor、market、category、price、ship_from 和 date,将 transactionid 作 为卖家节点的属性。然后,程序将使用 Neo4j Python 驱动程序连接到 Neo4j 数据 库。打开 对应的 CSV 文件获取 每一 行的 数据,程 序将 获取 market_name、 vendor_name、transactionid、price、category、ship_from 和 Date 这些字段的值,并 将它们传递给函数,创建图谱中的节点和关系。

三、《中国鸟类领域知识图谱构建与应用研究》

点评:这篇论文提供了很多知识图谱的基础知识,以及本体构建方法,值得学习!

2知识图谱基本理论与方法

1、两种知识类型:关系、属性

知识图谱中的知识通常有两种不同的形式,如“<实体 1,关系,实体 2>”或“<概 念,属性,值>”。其中实体或概念是基本的组成元素,可用来指具体的名称、地名等信 息。

2、知识图谱模式层
(1)模式层主要是展现本体结构
(2)知识图谱的构建过程可以看作本体的实例化数据填充过程
(3)如果不需要知识推理,则不需要构建模式层。—》模式层可以帮助进行实体间的关系推理

知识图谱模式层中的节点用于表示本体概念,边表示本体中概念间存在的联系。知 识图谱的概念模型可通过模式层来表示,通过定义一系列的规范来对知识图谱数据层进 行约束。可使用构建完成的本体作为知识图谱模式层,参考本体中定义的约束与限定条 件来对数据层进行约束,提高知识图谱的质量,知识图谱构建过程可看作本体的实例化 数据填充过程,其中数据层能看成本体中概念的实例。在不需要进行知识推理的情况下 知识图谱不需要构建模式层。

3、知识图谱构建方法分为3类:自顶向下、自底向上、两者结合

4、本体与知识图谱的关系
本体是一种概念模型,可以作为知识图谱的模式层。
当然,知识图谱也可以选取自底向上的构建方法,即不用模式层知识,而是从数据层总结出模式层知识。

本体是知识图谱的模式层和逻辑基础,描述知识图谱的上层概念模式,知识图谱可 看成参照本体模型来进行实例化所构建的知识库,基于本体构建的知识图谱具有层次清 晰、冗余小等优点。

5、本体描述语言(RDF、RDFs、OWL)

近些年,W3C 公布了改进的本体描述语言 RDF、RDFS(RDF Schema)和 OWL(Web Ontology Language)[40],用于解决 Web 标准语言(如 HTML 和 XML)在知识描述上所 遗留的问题,这些新的语言和 XML 语言的语法相兼容,目前大部分知识图谱使用这三 种本体描述语言用于模式层的描述。
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第6张图片

6、知识存储数据库
可分为三类:关系型、面向RDF的三元组、原生图数据库
以三元组存储

设计 RDF 三元组数据库的目的在于存储三元组信息,该数据库支持主流的 SPARQL 查询语言,主要开源数据库包括 Jena、RDF4J、GraphDB 等。如 RDF4J 是 Eclipse 的开 源项目,对于 RDF 数据库存储的信息具有存储、查询、推理等功能。

以图数据结构存储(虽然也不知道怎么存的,用链表吗?)

原生图数据库以图的数据结构来存储与查询数据,对于节点间关系处理比传统数据 库有更高的效率,主流开源产品包括 Neo4j、Cayley 等。Neo4j 图数据库基于属性图模 式,具有高性能和可扩展性,存取效率较高,支持原子性(A)、一致性©、隔离性(I)、 持久性(D)。使用 Cypher 查询语言可进行数据查询,支持快速创建、删除、修改节点与 关系。

3中国鸟类领域本体构建研究

这一部分写的特别好!!!值得参考借鉴,我喜欢!

1、七步法构建本体模型
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第7张图片
2、通过类的属性补充类之间关系以及类自身信息

类的属性主要分为两种,即对象属性、数据属性。前者定义了类的关联关系,例如 “白鹤”属于“鹤属”,可用于丰富知识图谱中的关联关系;数据属性用于描述某一类自 身具有的属性,例如“白鹤”的英文名为“Siberian Crane”, 数据属性可采用文本、数值 等数据类型来表示。

3、可可爱爱没有脑袋
知识图谱系列2-读论文:知识图谱的构建与应用-《工控系统信息安全知识图谱构建研究方法》、《暗网威胁情报知识图谱构建技术研究》、《中国鸟类领域知识图谱构建与应用研究》_第8张图片

明天再仔细看接下来的构建与应用部分。(如果有机会的话)

你可能感兴趣的:(NLP,知识图谱,知识图谱,人工智能)