NLPIR大数据搜索与挖掘共享开发平台

NLPIR大数据搜索与挖掘共享开发平台 一、简介         NLPIR文本搜索与挖掘开发平台针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，C，C#等各类开发语言使用。         NLPIR是一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。 二、功能           NLPIR文本搜索与挖掘开发平台的十二大功能：         1. 全文精准检索         支持文本、数字、日期、字符串等各种数据类型，多字段的高效搜索，支持AND/OR/NOT以及NEAR邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。         2. 新词发现：         从文件集合中挖掘出内涵的新词语列表，可以用于用户专业词典的编撰；还可以进一步编辑标注，导入分词词典中，从而提高分词系统的准确度，并适应新的语言变化。         3. 分词标注：         对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中，导入用户定义的词典。         4. 统计分析与术语翻译         针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计（统计两个词左右连接的频次即概率）。针对常用的术语，会自动给出相应的英文解释。         5. 文本聚类及热点分析         能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。         6. 分类过滤         针对事先指定的规则和示例样本，系统自动从海量文档中筛选出符合需求的样本。         7. 正负面分析         针对事先指定的分析对象和示例样本，系统自动从海量文档中筛选出正负面的得分和句子样例。         8. 自动摘要         能够对单篇或多篇文章，自动提炼出内容的精华，方便用户快速浏览文本内容。         9. 关键词提取         能够对单篇文章或文章集合，提取出若干个代表文章中心思想的词汇或短语，可用于精化阅读、语义查询和快速匹配等。         10. 文档去重         能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录，同时找出所有的重复记录。         11. HTML正文提取         自动剔除导航性质的网页，剔除网页中的HTML标签和导航、广告等干扰性文字，返回有价值的正文内容。适用于大规模互联网信息的预处理和分析。         12. 编码自动识别与转换         自动识别内容的编码，并把编码统一转换为GBK编码。 三、文件说明 1. LJParser.exe        可执行文件，本版本为共享版。 2. 演示语料        演示用语料，用户可替换，必须为文本文件，如果为GBK以外的编码，必须先进行编码识别与转换后方可进行其他操作。 3. 各种dll为各组件的调用接口，本演示程序全部基于已有的调用接口实现； 4. 文档说明，参见当前目录下的用户手册。 【下载地址】：http://vdisk.weibo.com/s/xYka8 【加压密码】：关注  http://www.weibo.com/2854372157/profile  @大数据BigData微博    私信获取 灵玖软件,大数据搜索与挖掘技术服务商 灵玖软件专注于大数据搜索与挖掘的技术创新与服务，提供大数据搜索、大数据挖掘与大数据应用解决方案，以应对大数据的管理、处理、分析并从大数据中获知识与智慧。 灵玖软件：www.lingjoin.com  大数据论坛：www.bigdatabbs.com