NLPIR大数据实现从文本挖掘到智能知识图谱展现

　　随着信息技术和计算机技术的迅猛发展，人们面临着越来越多的文本、图像、视频以及音频数据，为帮助用户从这些大量数据中分析出其间所蕴涵的有价值的知识，数据挖掘(Data Mining，DM)技术应运而生。所谓数据挖掘，就是从大量无序的数据中发现隐含的、有效的、有价值的、可理解的模式，进而发现有用的知识，并得出时间的趋向和关联，为用户提供问题求解层次的决策支持能力。与此同时，文本挖掘作为数据挖掘的主要部分，也越来越引起人们的关注。

　　文本挖掘或者文档挖掘是一个从非结构化文本信息中获取用户感兴趣或者有用的模式的过程.文本挖掘涵盖多种技术,包括信息抽取,信息检索,自然语言处理和数据挖掘技术.它的主要用途是从原本未经使用的文本中提取出未知的知识.但是文本挖掘也是一项非常困难的工作,因为它必须处理那些本来就模糊而且非结构化的文本数据,所以它是一个多学科混杂的领域,涵盖了信息技术、文本分析、模式识别、统计学、数据可视化、数据库技术、机器学习以及数据挖掘等技术.

　　而随着移动互联网的发展，万物互联成为了可能，这种互联所产生的数据也在爆发式地增长，而且这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上，在移动互联网时代则除了个体，这种个体之间的关系也必然成为我们需要深入分析的很重要一部分。在一项任务中，只要有关系分析的需求，知识图谱就“有可能”派的上用场。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的KGB知识图谱引擎，KGB知识图谱引擎(Knowledge Graph Builder)是基于自然语言理解、汉语词法分析，采用KGB语法从结构化数据与非结构化文档中抽取各类知识，大数据语义智能分析与知识推理，深度挖掘知识关联，实时高效构建知识图谱。

　　KGB知识图谱引擎核心技术与特色

　　1 、KGB知识抽取

　　KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎，基于汉语词法分析的基础上，采用KGB语法实现了实时高效的知识生成，可以从非结构化文本中抽取各类知识，并实现了从表格中抽取指定的内容等。

　　KGB知识图谱引擎可以定义不同的动作，增加、删除、修改、抽取等等。每一类动作还能自定义各类后处理程序。

　　2 、语义智能分析

　　NLPIR大数据语义智能分析针对大数据内容采编挖搜的综合需求，融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的新研究成果，先后历时十八年，服务了全球四十万家机构用户，是大数据时代语义智能分析的一大利器。

　　NLPIR大数据语义智能分析十三大功能：精准采集、文档抽取、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索与编码转换。

　　3 、语义精准搜索

　　JZSearch大数据语义精准搜索引擎：是灵玖软件联合中科院与北理工的信息检索专家，针对大数据垂直搜索需求的全文智能检索引擎，融合了自然语言理解、网络搜索和文本挖掘的技术，通过人机互动、深度机器学习后具有一定的语义推理能力，是结合了人工智能技术的新一代搜索引擎，具有专业精准、高扩展性和高通用性的特点。

　　大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间。这将促使中文信息处理方面的高效中文搜索引擎、实时机器翻译、大规模中文文本处理、跨平台中西文自动识别转换、泛中文语义理解、中文电子商务等技术实现重大突破。中文信息处理已成为我国信息技术研究、发展、应用和产业的基础，在互联网日益成长的今天，中文信息处理技术将会更加成熟并创新。