数据去重

大数据去重

灵玖软件： www.lingjoin.com

软件下载地址： http://vdisk.weibo.com/s/xYka8

系统简介：

大数据中不可避免地存在着重复数据，以互联网新闻网页为例，大约60%的互联网新闻网页都是重复的。所谓重复数据，往往指基本内容一致，但具体字样往往还存在着少许差异的数据。不同的业务所定义的重复标准也不尽相同。

灵玖大数据去重解决方案能够识别各种类型的重复数据，有效降低数据冗余。

主要功能：

能够从大数据中快速识别出重复冗余数据；针对不同的业务类型，可以定制不同的重复标准。

应用案例：

灵玖大数据特征提取已经集成在多个公司的业务系统中。

图1为针对同一机构不同简写、别名及笔误造成的重名问题，可以从大数据业务中自动搜索并检测出重复的机构数据，对数据进行清洗并整合。

 

 

图1：大数据去重应用于中国邮政邮政查重系统

图2为针对新闻转载的问题进行自动识别。

图2：大数据去重应用于新闻转载识别

技术特点：

1.
速度快：内嵌指纹技术和相似性搜索技术，最大限度提升去重效率；

2.
处理精准：不同的去重标准可以定制，更贴切地满足业务需求；

3.
开放式接口：采用灵活的开发接口，可以方便地融入到用户的业务系统中，可以支持各种操作系统。