知识抽取与挖掘（一）

知识抽取与挖掘

知识抽取任务定义和相关比赛
面向结构化数据的知识抽取
面向半结构化数据的知识抽取
实践展示：基于百科数据的知识抽取

知识抽取任务定义和相关比赛

知识抽取技术
实体抽取
关系抽取
事件抽取
知识抽取：从结构化数据，半结构化数据，纯文本数据进行知识抽取。
知识获取关键技术与难点
从结构化数据库中获取知识：D2R；难点：复杂表数据的处理
从链接数据中获取知识：图映射；难点：数据对齐
从半结构化（网站）数据中获取知识：使用包装器；难点：包装器定义，包装器自动生成、更新与维护
从本文中获取知识：信息抽取；难点：结果的准确性与覆盖率
子任务
命名实体识别：检测、分类
术语抽取
关系抽取
事件抽取：触发词，“发生爆炸”
共指消解（指代消解）

实体抽取定义

抽取文本中的原子信息元素

人名，组织/机构名，地理位置，时间/日期，字符值，金额值

序列标注方法

人工特征
词本身的特征

边界特征：边界词概率
词性
依存关系
前后缀特征
姓氏：李*、王
地名：**省、 **市
字本身的特征
是否是数字
是否是字符

HMM

有向图模型
生成式模型，找到使P(X,Y)最大的参数
假设特征之间是独立的

CRF

无向图模型
判别式模型，找到使P(Y|X)最大的参数
没有关于特征之间是独立的假设

LSTM+CRF

判别式，端到端，Dropout，特征自动提取

实体识别与链接

Wikipedia Miner
DBpedia Spotlight
OpenCalais

实体链接

消岐，属性消岐，上下文消岐

关系抽取简介

从文本中抽取出两个或多个实体之间的语义关系
方法分类

基于模板的方法
基于触发词的Pattern
基于依存句法分析的Pattern
优点：容易实验，构建简单
缺点：特定领域需要专家构建，难以维护，召回率很低
监督学习方法
轻量级特征：实体前后的词，实体的类型，实体之间的距离
中等量级特征：Chunk序列，词组/phrase
重量级特征：实体间的依存关系路径，实体间树结构的距离
深度学习方法特征设计：Position embeddings，Word embeddings, Knowledge embeddings
方法：
Pipeline：CR-CNN模型，Att-CNN模型，Att-BLSTM模型
Joint Model：LSTM-RNNs模型
优点：准确率高，标注数据越多越准确；
缺点：标注数据成本太高，不能扩展新的关系
半监督学习——远程监督
半监督学习——Bootstrapping
给定种子集合
从文档中取出包含种子实体的新闻，将抽取的Pattern去文档集中匹配
缺点：存在语义漂移问题，准确率较低
弱监督学习方法

事件抽取

从自然语言中抽取事件信息，并以结构化的形式呈现出来。

事件描述
事件触发
事件元素
元素角色
Joint Inference
Joint Modeling
Joint Modeling with Structured Prediction
基于深度学习的事件抽取方法
基于动态多池化卷积神经网络的事件抽取方法
扩充语料的方法
从网络获取事件信息

面向结构化数据的知识抽取

R2RML概述
Triple
数据库表映射
视图映射

面向半结构化数据的知识抽取

Zhishi.me

Web 网页数据抽取 - 包装器的生成

包装器：一个软件程序能够将数据从HTML网页中抽取出来，并将它们还原为结构化的数据

手工方法
包装器归纳：网页输入>网页清洗>网页标注>包装器空间的生成>包装器评估>包装器归纳结果
自动抽取

比较	手工方法	包装器归纳	自动抽取
优点	对任何一个网页通用	需要人工标注训练结果	无监督方法，可用到大规模网站的信息抽取
缺点	需对网页数据标注；维护成本高	需人力去标注，可维护性差	需要相似网页作为输入，会抽取出一些无关信息

Web table

基于百科数据的知识抽取

实践：佛学知识图谱构建

抽取框架：Wikipedia，zhishi.me
Knowledge Collection
Knowledge Fusion

主语融合
谓语融合
宾语融合
单值融合，多值融合
对infobox属性进行补全
在线接口
数据访问地址：www.kg-buddhism.com
应用：问答微信公众号