浙大知识图谱导论笔记

第一章知识图谱概论

1.1语言与知识

知识图谱旨在利用图结构建模、识别和推断事物之间的复杂关联关系和沉淀领域知识，是实现认知智能的重要基石，已经被广泛应用于搜索引擎、智能问答、语言语义理解、大数据决策分析、智能物联等众多领域。
自然语言:为句子中的每个词学一个向量表示
知识图谱:为每个实体和关系学习一个向量表示
图像视频:为视觉中的每个对象学习一个向量表示
知识图谱可以看作是一种结构化的知识表示方法,相比于文本更易于被机器查询和处理,因而在搜索引擎、智能问答、大数据分析等领域被广泛应用。
语言与知识的向量化表示,以及利用神经网络实现语言与知识的处理是重要的人工智能技术发展趋势。

1.2知识图谱的起源

1.3知识图谱的价值

知识图谱辅助搜索-语义搜索:Web的理想是链接万物,搜索的理想是万物搜索.
智能问答:对话式的信息获取更加需要精准度和可靠度,知识图谱对于提升用户体验更加不可少
推荐系统:将知识图谱引入到推荐系统中,可以增强User和ltem的特征表示,有利于挖掘更深层次的用户兴趣,关系多样性也有利于实现更加个性化的推荐,丰富的语义描述还可以增强推荐结果的可解释性
大数据分析:
语言理解:
视觉理解
设备互联
小结
知识图谱技术源于互联网,最早落地应用的也是搜索引擎、智能问答和推荐计算等技术领域
知识图谱通过规范化语义融合多来源数据,并能通过图谱推理能力支持复杂关联数据的挖掘分析,因此在大数据分析领域也有广泛应用
不论是语言理解和视觉理解,外源知识库的引入都可以有力的提升语义理解的深度和广度
知识图谱在医疗、金融、电商、通信等多个垂直领域都有着广泛的应用，并且每个领域都有其独特的实现和实践方式

1.4知识图谱的技术内涵

基于图的知识表示

图数据存储与查询

知识提取

机器抽取加上人工众包任然是主流技术路线

知识图谱融合

知识图谱推理

基于符号逻辑的推理方法:OWL Reasoners.Datalog、Rete等
基于图结构或表示学习的推理方法:PRA、AMIE、TransE、Analogy、DeepPath、NeuralLP等

知识图谱问答

图算法与图神经网络

第二章知识的表示

2.1什么是知识表示knowledge representation

简单而言,知识表示(KR)就是用易于计算机处理的方式来描述人脑的知识的方法
KR不是数据格式、不等同于数据结构、也不是编程语言,对于人工智能而言,数据与知识的区别在于KR支持推理

从符号到向量表示

知识的向量表示:促进多种模态的融合

2.2AI历史长河中的知识表示方法

描述逻辑

一阶谓词逻辑

产生式系统

框架系统

语义网络

小结

2.3基于图的知识表示与建模

属性图

RDF

RDF三元组(S,P,O)编码一个语句—一个简单的逻辑表达式，或关于世界的声明。

RDF还提供了基础的表达构建,用于定义属性,类等schema层的术语,例如domain,range用于定义某个关系的头尾结点类型subclassof和subpropertyof用于定义类与属性的层次关系等等

Ontology in Computer Science and Artificial lntelligence
An ontology is a description (like a formal specification of a program) of the conceptsand relationships that can formally exist for an agent or a community of agents.
— Tom Gruber，Founder of Siri
计算机科学与人工智能中的本体
本体是对一个代理或一个代理社区可以正式存在的概念和关系的描述(类似于程序的正式规范)。

owl本体构建语言:ontologies web language

小结

2.4知识图谱的知识的向量表示

从词的向量表示讲起

词的分布式向量表示

从词的向量表示讲起

词向量学习模型举例

从词的表示讲起

知识图谱嵌入

知识图谱嵌入模型TransE

h代表head主语subject,r代表Relationship关系 谓语predicate,t代表title即object宾语

定义一个评分函数f,对所有的三元组累加,计算损失函数L,这里的优化目标,让真实存在的三元组得分尽可能的高,让不存在的三元组得分尽可能的小

知识图谱嵌入模型DistMult

distmult运用乘法,并用一个matrix矩阵来表示关系,如果一个三元组存在,h*mr=t;

小结

第三章知识图谱的存储与查询

3.1基于关系型数据库的知识图谱存储

知识图谱的各种存储方式

从图结构模型说起

图上的查询语言:sparql

最简单的存储triple store

property tables属性表存储

binary tables二元表

exhaustive indexing全索引结构

exhaustive indexing

exhaustive indexing查询举例

小结

原生图数据库成为主要解决方案

3.2原生图数据库的知识图谱存储

关系型数据库的局限性:关系模型不善处理关系

关系模型的局限性:处理关联查询

nosql(非关系型数据库)数据库也不善于处理关联关系

图数据库

原生图数据库:利用图的结构特征建索引

图数据建模的好处

图数据库使用举例:Neo4J

图查询语言cypher

举例:跨领域图建模与查询

cypher图查询举例

Finds all the Shakespeare performances at Newcastle’ s Theatre Royal
在纽卡斯尔皇家剧院找到所有莎士比亚的表演。

常见的图数据库列表

小结:什么时候使用图数据库

3.3原生图数据库实现原理

原生图数据库的实现原理:免索引邻接

关系模型的局限性:处理关联查询

index-free adjacency的计算复杂度

原生图数据库的物理存储实现

节点存储文件

图遍历的查询的物理实现

属性数据的存储处理:内联与动态存储

rdf图模型和属性图模型的比较

知识图谱的查询语言的比较

工业届用sparql

常见知识图谱数据库管理系统比较

总结:知识图谱存储的选择

总结:关于图模型与图数据库

第四章知识图谱的抽取与构建

4.1重新理解知识工程与知识获取

知识工程

知识工程代表人物

传统知识工程的特点

知识获取的瓶颈

挑战机器自主获取知识的极限

知识图谱工程:简化的知识工程

知识图谱工程

从不同来源.不同结构的数据中进行知识提取,形成知识存入到知识图谱

知识图谱工程:从关系数据库获取知识

知识图谱工程:从视觉数据获取知识

从文本获取知识

事件抽取

小结:知识图谱不等于专家系统

4.2.1知识抽取-实体识别与分类

实体识别与分类任务定义

实体识别的常用方法:基于模板和规则

实体识别的常用方法:基于序列标注的方法

确定实体识别的序列标签体系

常见序列标注模型:HMM(隐马尔可夫模型)

HMM的要素定义

HMM的计算问题

求观测序列的概率-前向后向算法

模型参数的估计与学习

模型参数的估计与学习-鲍姆韦尔奇算法-EM算法

解码隐藏状态序列-维特比算法

常见序列预测模型:CRF条件随机场

CRF的机器学习模型

基于深度学习的实体识别方法

常见实现方法:biLSTM+CRF

BiLSTM+CRF:CRF层

BiLSTM+CRF:模型训练

基于预训练语言模型的实体识别

实体识别解码策略

小结

实体识别是构建知识图谱的重要一环,也是进一步抽取三元组和关系分类的前提基础.

4.3.1关系抽取与属性补全

实体关系抽取的任务定义

实体关系抽取方法概览

基于模板的方法:基于触发词匹配的关系抽取

基于模板的方法:基于依存句法匹配的关系抽取

基于模板的方法:优缺点

基于监督学习的关系抽取

基于监督学习的关系抽取:特征设计

机器学习框架–特征函数+最大熵模型

机器学习框架–核函数

机器学习框架–字符串核举例

机器学习框架–句法树核函数

机器学习框架–最短依赖路径树核函数

机器学习框架–深度学习方法

机器学习框架–基于RNN递归神经网络的关系抽取

机器学习框架–基于CNN的关系抽取

机器学习框架–基于bilstm的关系抽取

机器学习框架–基于图神经网络的关系抽取

基于预训练语言模型的关系抽取

拓展问题-实体关系联合抽取

拓展问题-基于胶囊神经网络多标签关系抽取

拓展问题-多元关系抽取

拓展问题-跨句推理

半监督学习-基于远程监督的关系抽取

远程监督-基于多实例学习(降噪学习)

远程监督-强化学习(降噪学习)

半监督学习-基于Bootstrapping(引导)的关系抽取

Bootstrap一Neural Snowball

bootstrapping的语义漂移问题

语义漂移问题的一些解决方法

属性补全:任务定义

属性补全的方法-抽取式属性补全

属性补全的方法-生成式属性补全

属性补全的方法-属性补全方法比较

属性补全应用-商品属性补全

小结-关系抽取方法的演变

4.4概念抽取

构建概念知识图谱:任务定义

概念的上下位关系

概念抽取的方法

概念抽取的方法:基于模板

概念抽取的方法:基于模板

概念抽取的方法:基于百科

概念抽取的方法:基于百科

概念抽取的方法:基于机器学习

中文概念知识图谱

概念知识的应用:搜索

总结

4.5知识抽取-事件识别与抽取

事件的定义

事件抽取的定义

事件抽取:事件发现和分类

事件抽取:事件要素抽取

事件抽取的方法:模式匹配

事件抽取的方法:模式匹配

模式匹配的方法小结

事件抽取的方法:机器学习

基于机器学习方法的挑战

事件抽取的方法:弱监督

中文事件抽取

小结

4.6知识抽取技术前沿

知识抽取前沿挑战

少样本知识抽取

基于混合注意力原型网络的少样本关系抽取

基于实体关系原型网络的少样本知识抽取

零样本知识抽取

基于阅读理解的零样本关系抽取

基于规则引导的零样本关系抽取

终身知识抽取

基于表示对齐的终身关系抽取

小结-知识抽取的未来展望

第五章知识图谱推理

5.1什么是推理

what is reasoning什么是推理

deductive reasoning–演绎推理

inductive reasoning–归纳推理

看到的天鹅是白色,就认为所有天鹅是白色.归纳推理不一定正确

abductive reasoning–溯因推理

analogical reasoning–类比推理

描述逻辑
terminology描述抽象概念内容,abox描述客观内容

reasoning in description logic描述逻辑中的推理

自然语言处理

reasoning in NLP:natural language inference自然语言处理

计算机视觉reasoning in CV:visual Reasoning

小结

5.2知识图谱推理简介

在知识图谱上实现推理

常见知识图谱推理方法分类

基于向量表示学习符号规则,再利用符号规则做演绎推理,这实际上是一类将符号的演绎推理和基于向量的归纳推理向结合.是当下研究的一个热点

基于符号表示的推理

基于向量表示的推理

小结:符号逻辑与表示学习的融合

将人工构建和机器学习出的符号规则与向量表示学习相耦合,也可以进一步在表示学习过程中植入逻辑层的知识先验,从而使得向量表示更容易实现符号逻辑推理,因此符号逻辑与表示学习的互补融合是解决表示学习可解释性的一个重要途径.更进一步,符号逻辑的向量化和神经网络化也使得感知层的任务比如抽取识别人和认知层的任务比如理解和推理能够在统一的表示空间完成…因此也是感知认知进一步融合的未来的主要发展趋势之一.

5.3.1基于ontology的推理方法

常见知识图谱推理方法分类

rdf:triple-based assertion model(三元组-基于断言模型)

基于rdf/rdfs的简单推理

owl extends rdf schema

owl的描述逻辑语义及语法

owl的描述逻辑语义及语法

owl本体推理:概念包含推理

owl本体推理:实例检测推理

典型本体推理算法:tableaux算法

tableaux算法

owl本体推理工具

5.3.2基于规则的推理

基于Datalog的符号推理

datalog基本语法

datalog基本语法

datalog推理举例

datalog推理工具举例

基于产生式规则的推理

基于产生式规则的推理

rete算法

rete算法小结

相关工具简介

小结

5.4.1基于嵌入学习的知识图谱推理

常见知识图谱推理方法分类

知识图谱上的关系推理

关系推理问题分解成三个子问题
给定两个实体,预测他们之间是否存在r关系
给定头实体,在给定关系预测未知的伪实体
给定两个三元组,判断是否为真或假

回顾:词嵌入-知识图谱嵌入

知识图谱嵌入模型:transE

知识图谱嵌入模型:预测问题与推理评价

符号推理VS向量推理

知识图谱嵌入模型:transE的问题

典型的知识图谱嵌入模型:transH

典型的知识图谱嵌入模型:transR

典型的知识图谱嵌入模型:transD

知识图谱嵌入模型:distmult

知识图谱嵌入模型:anology

知识图谱嵌入模型:complEx

知识图谱嵌入模型:conve

知识图谱嵌入模型:rotae

知识图谱嵌入模型:betaE

其他推理模型框架:强化学习–基于强化学习的知识图谱路径推理问答

知识图谱嵌入的挑战:稀疏性问题

稀疏性问题:对抗关系学习-adversarial relational learning

稀疏性问题:metar-meta relational learning元学习

发展迅速的知识图谱嵌入推理模型(2019-2020)

小结

基于规则学习的知识图谱推理

利用图的结构实现关系推理:pra

基于规则学习的方法:Amie

借助表示学习来学习规则

可微规则学习:neuralLP

可微规则学习:NeuralLP的数值规则学习

可微规则学习:DRUM

可微规则学习:ruleE

利用规则增强知识图谱表示学习

规则与嵌入表示的迭代学习:iterE

embeding learning(嵌入式学习)学习知识图谱的向量表示
axiom induction(本体规则)基于学习规则
axiom injection把学习到的规则植入到embeding的学习过程中,进一步向量表示学习的效果,这个过程不断迭代,直到最后收敛,可以看到这是一个演绎推理和归纳推理相结合的框架,同时也融合了符号规则表示和向量空间表示

小结

考虑规则学习和嵌入学习的有机融合也是实现知识图谱推理的重要发展方向

5.4.3ontology embeding-本体概念层推理

ontology embeding vs KG embeding本体嵌入和知识图谱嵌入

ontology embeding-ELembeding

quantum embeding量子嵌入

在这里我们可以看到在向量空间处理本体概念层的逻辑关系,比在实例层处理三元组和图的结构关系要复杂许多,这方面的很多研究才刚刚起步.

onto2Vec&opA2Vec&WOL2Vec

ontology-enhanced KG embeding–JOIE

ontology-enhanced KG embeding–MuPP

小结

给的一个知识图谱里面到底有哪些信息可以用来学习embeding
我们还需要进一步深挖更为复杂的规则逻辑结构,才能支持更高层次的推理,这些内容,当前任然是知识图谱推理的研究热点

总结

归纳推理可充分利用大数据的优势,更多依靠机器来学习和总结推理逻辑,是当前知识图谱推理研究的主要关注点

第六章 知识图谱融合

6.1知识图谱融合概述

知识图谱的异构性

从知识图谱应用角度

知识融合是解决知识图谱异构问题的有效途径

知识异构的原因

知识图谱数据的特点

为什么需要知识融合

知识融合的目标

知识融合的目标:匹配异构本体

知识融合的目标:对齐异构实体

知识融合方法

小结

6.2概念层融合-本体匹配

什么是本体

本体匹配定义

本体匹配方法

本体匹配方法:术语匹配-基于字符串的方法

本体匹配方法:术语匹配-相似度度量方法

levenshtein距离:即最小编辑距离

汉明距离

子串相似度

dice系数 dice距离

jaccard系数

TF-IDF

基于语言的方法

术语匹配的原理

本体匹配方法:基于虚拟文档

虚拟文档的构建

本体匹配方法:结构匹配-结构匹配的原理

结构匹配器

anchor prompt

大型本体匹配

大型本体匹配:分块

小结

6.3实例层的融合-实体对齐

实体对齐定义

实体对齐方法

实体对齐方法:等价推理

实体对齐方法:相似度计算

实体对齐方法:基于embeding

实体对齐方法:基于embeding的实体对齐

合并预先匹配好的实体,把两个网络合并为一个网络,用单一网络的嵌入表示进行嵌入

知识融合工具:silk

知识融合工具openEA

知识融合工具:EAKit

小结

6.4知识融合技术前沿

知识融合技术发展

无监督对齐

多视图对齐

嵌入表示增强

超大规模对齐

小结-知识融合的未来展望

第七章 知识图谱问答

7.1智能问答系统概述

知识图谱是交叉领域

智能问答:从图灵测试说起

智能问答的发展历史:特定领域的问答系统

智能问答两大难点

智能问答的发展历史:开放领域的问答系统

智能问答分类:按答案来源分

智能问答分类:按问句类型分

知识图谱问答–KBQA

文本问答–Textual QA

表格问答–table QA

社区问答–community QA

视觉问答–visual QA

文本问答+知识图谱问答

视觉问答+知识图谱问答

实现知识图谱问答主要技术方法

问句解析VS检索排序

知识图谱问答测评数据集-QALD

知识图谱问答测评数据集-webQuestions

知识图谱问答常用数据集-simplequestions

知识图谱问答常用数据集-MetaQA

其他数据集

小结

7.2基于查询模板的知识图谱问答

知识图谱问答的主要挑战

基本模板方法的基本流程

问句模板实现举例:TBSL

TBSL:基本思路

TBSL:核心步骤

实例

step1:模板生成-template generation

模板生成举例

step2:模板实例化-template instantiations

模板实例化举例

step3:查询排序与答案选择

查询排序举例

模板是否可以自动生成呢

模板生成-问句依存分析

模板生成-为问句构建查询子图

模板生成-为问句构建对应查询

模板生成-问句与查询的对齐

问句与查询的对齐:词典L构建

问句与查询的对齐

模板生成

模板实例化

候选查询排序

复杂问题处理

小结:模板方法的优缺点

7.3基于语义解析的知识图谱问答

一步语义解析

二步语义解析

逻辑表达式-calculus

逻辑表达式:-DCS

逻辑表示式:CCG

语义解析的基本步骤

语义解析举例

语义解析举例:短语检测与依存结构分析

语义解析举例:grounding

语义解析器的训练

补充问题:bridging操作

补充问题:paraphrasing

小结

7.4基于检索排序的知识图谱问答

一步语义解析

基于检索排序方法的知识图谱问答

基于检索排序方法的知识图谱问答优缺点

实体链接:任务定义

实体链接:实现方法举例

实体链接:多语言实体链接

排序模型:基于特征的检索排序

排序模型:基于子图匹配的检索排序

排序模型:基于向量表示的检索排序

排序模型:基于记忆网络的检索排序

小结

7.5基于深度学习的知识图谱问答

深度学习的两种方法

实体链接:任务定义

对语义解析的改进:STAGG

neural end-to-end框架:simple embeding

neural end-to-end 框架:CNN+attention

neural end-to-end 框架:attention+global knowledge

neural end-to-end 框架 key-value memory networks

左图为模型的架构图,右图是一个查询实例

neural end-to-end 框架:neural symbolic machines

小结:深度学习方法的优缺点

总结

第八章 图算法与图数据分析

8.1图的基本知识

知识图谱溯源:the semantic web

network science and complex network:网络理论与复杂网络分析

图数据举例:Biological network

图数据举例:molecular graph

图数据举例:transportation network

图数据举例:social network

graph AI:图智能

图的基本概念:node degree

图的基本概念:degree dsitribution

图的基本概念:邻接矩阵

图的基本概念:bipartite graph

图的基本概念:最短路径

图的基本概念:图的直径与平均路径长度

图的基本概念:cycle和self-avoiding path

图的基本概念:欧拉路径和汉密尔顿路径

图的基本概念:clustering coefficient

图理论:六度six degree

六度理论

图理论:weak tie弱联系

弱联系假设,弱联系指的是假如a通过强关系链接到b和c,则b可能和c存在弱关系连接.
另一个基于弱联系的重要假设是，信息在弱联系中传播，而不是通过弱联系传播。

图理论:无尺度网络模型scale-free network model

barabasi-albert模型:优先连接-preferential attachment

barabasi-Albert模型:幂律分布

图理论:随机网络模型random network model

erdos-renyi模型

小结

8.2基础图算法

典型图算法pathfinding and graph search algorithms寻路算法

最短路径算法

dijkstra算法

最小生成树

kruskal算法

centrality algorithms中心性算法

centrality algorithms:PageRank

centrality algorithms:betweenness centrality中介中间度

典型图算法-community detection algorithms社区发现算法

社区发现算法:strongly connected components

社区发现算法:label propagation标签传播算法

社区发现算法:louvain算法-模块度

小结

8.3图神经网络与图表示学习

图的形式化定义及类型

图表示学习问题描述

图表示学习算法概览

几种不同的图表示学习算法

随机游走之deepwalk

随机游走之node2vec

随机游走之line

随机游走之netMF

随机游走之metapath2vec

图神经网络系列

图神经网络父类

图神经网络:图卷积神经网络GCN

图神经网络:图变分自编码器VGAE

图神经网络:图注意力网络GAT

图神经网络:GraphSAGE

图神经网络:GTN

图神经网络:层次化模型

图神经网络预训练

图神经网络与训练:GPT-GNN

图神经网络预训练:GCC

图神经网络系列

8.4图神经网络与知识图谱

图神经网络与知识图谱表示学习

图神经网络与知识图谱表示学习

图神经网络与知识图谱表示学习:COMPGCN

图神经网络与知识图谱表示学习inductive setting in knwledge graph embeding知识图谱嵌入中的归纳设置

图神经网络与知识图谱构建:关系抽取

图神经网络与知识图谱构建:长尾关系抽取

图神经网络与知识图谱对齐-实体对齐

知识图谱+图神经网络:计算机视觉应用

知识图谱+图神经网络的应用:NLP应用

知识图谱+图神经网络的应用:推荐系统应用

小结

总结

第九章 知识图谱技术发展

9.1多模态知识图谱

蕴含知识的原始数据都可以作为知识图谱构建的数据来源
多种模态的数据也可以被用来增强知识图谱
实体链接技术可以增强对多模态数据的分类、检索和识别等能力

system1 vs system2

无意识与有意识

知识图谱:衔接感知与认知的中介

多模态:Multi-modals

知识图谱本该是多模态的

多模态的作用:模态知识互补

多模态的作用:模态实体消歧

多模态的作用:模态语义搜索

多模态 作用:利用多模态数据补全知识图谱

利用知识图谱增强多模态任务

多模态知识图谱发展历史

多模态知识图谱实例-IMGpedia

多模态知识图谱实例:-MMKG

多模态知识图谱实例-imagegraph

多模态知识图谱实例:Richpedia

多模态知识图谱研究:多模态关系预测与推理

多模态知识图谱研究:多模态关系预测与推理

多模态知识图谱研究:多模态知识问答

多模态知识图谱研究:场景图与知识图谱的融合

多模态知识图谱研究:多模态推荐计算

小结

9.2知识图谱与语言预训练

知识图谱VS语言预训练

预训练语言模型

为什么需要知识图谱

知识驱动的语言预训练

知识驱动的语言预训练:ERNIE

知识驱动的语言预训练:KnowBERT

知识驱动的语言预训练:WKLM

知识驱动的语言预训练:K-Adapter

小结

9.3事理知识图谱

事例知识图谱的定义

事理知识图谱中的事件定义

事理知识图谱与传统知识图谱的区别与联系

事理图谱中的关系

事件间顺承关系

事件间因果关系

事件间条件关系

事件间上下位关系

事理知识图谱和传统知识图谱的融合

事理知识图谱的应用

基于事理知识图谱的知识问答

基于事理图谱的消费意图识别

基于事件图谱的重要新闻判别与推荐

基于事理图谱的推理与辅助决策

小结

9.4知识图谱与低资源学习

低资源学习-low resource learning

事件间顺承关系

知识图谱与低资源学习

LRL4KG:知识图谱的稀疏性问题

LRL4KG:低资源下的知识图谱推理

LRL4KG:低资源下的知识图谱推理,构建

LRL4KG:低资源下的知识图谱构建

LRL4KG:低资源下的知识图谱推理

KG4LRL:基于知识图谱的低资源学习

KG4LRL:更深层次的语义与知识信息的利用

KG4LRL:利用知识图谱增强零样本学习的可解释性

小结