助力句子变换：35W抽象、43W同义、13W简称三大知识库对外开源

句子变换，是指根据给定中文句子，借助某种语言处理手段，扩展出一定数据规模的中文句子集合，是一个从1到N的过程，目的在于解决搜索（查询扩展）、分类（样本扩充）、抽取（数据回标）、推荐与生成（关联引导）等多个工业级应用任务。

我们发现，在处理以上几个任务的过程中，句子级别的操作，是以句子中的词为基本单位来实现的，即以词的更换、删除，语序和组合规则的重组等操作为基本手段。

将词的这种操作依据进行有效整理和形式化，是一项重要的工作，我们在实际开发过程中，对该工作的成果进一步归类成“抽象知识”、“同义知识”、“简称知识”三大类知识库，并将其中的部分数据集开放至OpenKG，供大家下载使用。

本期内容以开放的句子变换为主题，对常见的句子变换操作典型应用场景、数据地平线开放的三大知识三元组概要，以及它们在实际句子变换中所能发挥的作用进行介绍。

一、句子变换操作的典型应用场景

句子变换在搜索（查询扩展）、分类（样本扩充）、抽取（数据回标）、推荐与生成（关联引导）等典型NLP传统任务中均有应用。具体体现在基于句子标准化的舆情文本聚合，基于句子扩展的信息采集与推荐、基于句子变换的数据扩充和数据回标等三个方面。

1、 基于句子标准化的舆情文本聚合

文本去重是舆情分析的一项重要任务，解决的方法包括基于标题的去重、基于文本全文的去重、基于文档摘要的去重、基于标题与文档元数据的去重等多种途径。

处理速度和计算复杂度是去重过程中需要考虑的两个重要因素，尤其是在项目工期紧且需要大规模进行文本去重时，将特定文本进行代表内容的标准化和规范化处理成为了一个重要手段。

图1-文本去重系统中的指纹架构图

内容的标准化和规范化，指将一个来源内容生成一个唯一的md5指纹，指纹的值取决于标准后的结果。一般而言，常规的操作包括对内容进行停用词处理、短句语序统一重排等，也有进一步地在此基础上进行文本的词义标准化映射、句子缩写、句子复写、句子翻译。此外，也有加入一些其他的信息，如文本的时间信息、作者信息等进行标准化融合。

2、 基于句子扩展的信息采集与推荐

定点搜索和采集同样也是舆情处理过程中的两个重要手段。定点搜索，指针对关键词或关键词组成的query进行扩展，是搜索和采集的前置操作：如监控“营业收入下降”这一节点时，考虑到目标文档中可能存在的表述不一致，需要需要进行扩展，形成“营收下跌”、“营收下降”、“经营收入下降”等多个关键词。

图2-基于同义知识库的句子扩展

基于句子扩展的关联推荐也是一个重要的应用。通过对原先给定的query，通过识别出其中的关键信息，借助外部知识库，对关键信息集合中的元素进行替换，如获取抽象关系实体、同级关系（同属一个抽象类）实体进行替换，得到“美元贬值”扩展成“人民币贬值”和“货币贬值”等推荐结果。

3、 基于句子变换的数据扩充与数据回标

无论是分类任务还是抽取任务，都存在着样本不足、训练数据不够的问题，为此，数据扩充和数据回标是两个主要手段。其中，数据扩充主要包括词语替换和回译等几种方式。

词语替换，指在不更改句子含义的情况下替换文本中出现的单词，实现方式包括基于同义词库的替换 、基于词嵌入替换、基于TF-IDF的单词替换等，基于TF-IDF的单词替换也常用于确定给定句子中需要替换的词语成分；借助回译进行数据增强也是一种方案，即利用机器翻译来释义文本，将这个新句子用作原始文本的扩充结果。

图3-基于远程监督思想的数据回标

远程监督思想下基于已有知识库的数据回标是获取大规模标注数据的重要方法，其要求在给定知识三元组的情况下，在非结构化文本中进行回查，假设同时出现两个实体的句子潜在地存在着实体关系。不过，这一操作在实际的处理过程中噪声会较大。因此，为了扩大候选召回，可借助外部知识库对两个实体进行扩展，同时可以引入实体之间的关系标记词以及标记词的扩展词作为增设条件提高准确率。

二、句子变换中的开放知识三元组

准确而大规模的记录词语之间的同义、抽象、同义等关系的知识三元组，是完成以上三个应用任务的坚实基础，在OpenKG中，我们开源了积累的部分中文抽象知识、中文同义知识、中文简称三元组数据集，供大家下载使用。下面是对该数据集的介绍：

1、35万中文抽象知识三元组

1）地址 ：
http://www.openkg.cn/dataset/35

图4-35万中文抽象知识三元组详情截图

2）样例与介绍

该数据集开放了高质量的346,048条中文抽象知识三元组知识库，来源于公开网络文本抽象三元组挖掘、人工手工整理等多个渠道，覆盖商品、行业、动作、性状、名词性实体等多种类型。样例如下图所示：

图5-35万中文抽象知识示例截图

该知识库可用于查询扩展、句子改写、句子相似度计算、句子推荐等多个应用场景。

2、 43万中文同义知识三元组

1） 地址：
http://www.openkg.cn/dataset/sim-knowlege-triples

该数据集开放了43万中文同义知识三元组，来源于公开数据文本同义词挖掘、词典整理与人工修正等多个渠道。样例如下图所示：

图7-43万中文同义知识示例截图
该知识库可用于同义词扩展相关应用，如搜索扩展查询、句子相似度计算、数据增强等。

3、 13万中文简称知识三元组

地址：http://www.openkg.cn/dataset/abbr-knowlege-triples

图8-13万中文简称知识详情截图

2） 介绍与样例

该数据集开放了136,081条中文简称知识三元组，涉及高校、商品名称、公司简称等多个领域，来自公开网络文本简称抽取、人工整理等多个渠道。样例如下图所示：

图9-13万中文简称知识示例截图

中文简称知识库，可用于简称抽取评测、实体链接、搜索查询扩展、句子改写等多个场景。

三、总结

句子级别的操作，是以句子中的词为基本单位来实现的，即以词的更换、删除，语序和组合规则重组等操作为基本手段。将词的这种操作依据进行有效整理以及形式化，是一项重要的工作，我们将这种形式化的成果进一步归类成“抽象知识”、“同义知识”、“简称知识”三大类知识库，并将其中的一部分数据集开放至OpenKG：

346048条中文抽象知识三元组知识库，可用于查询扩展、句子改写、句子相似度计算、句子推荐等多个应用场景；

43万中文同义知识三元组，可用于同义词扩展相关应用，如搜索扩展查询、句子相似度计算、数据增强等场景；

136,081条中文简称知识三元组，涉及高校、商品名称、公司简称等多个领域，可用于简称抽取评测、实体链接、搜索查询扩展、句子改写等多个场景。

底层知识三元组，能够在句子变换中发挥重要作用，具体体现在基于句子标准化的舆情文本聚合，给予句子扩展的信息采集与推荐、基于句子变换的数据扩充和数据回标等几个方面。

我们认为，底层知识库是自然语言处理的坚实基础，可在工业界各项算法的实施中发挥奠基性和落地性的支持。

参考链接
1、http://www.openkg.cn/organization/datahorizon
2、http://www.openkg.cn/dataset/35
3、http://www.openkg.cn/dataset/sim-knowlege-triples
4、http://www.openkg.cn/dataset/abbr-knowlege-triples
5、https://www.datahorizon.cn