NLPIR汉语分词系统

灵玖软件:www.lingjoin.com


应各位ICTCLAS用户的要求,张华平博士正式发布ICTCLAS2013
版本,为了与以前工作进行大的区隔,并推广NLPIR自然语言处理与信息检索共享平台,从本版本开始,系统名称调整为NLPIR汉语分词系统。张博士先后倾力打造十余年,内核升级10次,全球用户突破20万,先后获得了2010年钱伟长中文信息处理科学技术奖一等奖,2003年国际SIGHAN分词大赛综合第一名,2002年国内973评测综合第一名


NLPIR汉语分词系统_第1张图片


图1:微博分词展示


新词发现与自适应分词功能:从较长的文本内容中,基于信息交叉熵自动发现新特征语言,并自适应测试语料的语言概率分布模型,实现自适应分词。


NLPIR汉语分词系统_第2张图片

图2:自动识别“屌丝”等新词,并自动调整分词结果,实现自适应分词


关键词识别功能:采用信息熵自动计算关键词,包括新词与已知词,下面是对十八大报告前面部分内容的关键词提取结果。


NLPIR汉语分词系统_第3张图片

图3:十八大报告的关键词识别结果


NLPIR汉语分词系统_第4张图片

图4:NLPIR的前期版本获得了钱伟长中文信息处理科学技术奖一等奖


我们将持续采用共享模式,为各位提供各类可执行程序、二次开发API等形式的成果,欢迎各位用户使用并反馈,让我们做得更好。

转载于:https://my.oschina.net/u/944980/blog/131023

你可能感兴趣的:(NLPIR汉语分词系统)