哈工大LTP和中科院NLPIR中文分词比较

个人实验总结，仅供参考。

1.LTP有自动分句功能，NLPIR没有分句功能；

LTP的分句是根据中文标点里的句号、问号、感叹号、分号、省略号。


2.NLPIR分词有两种方式，分词结果完全一致。
（1）利用分词函数NLPIR_ParagraphProcess；
（2）利用NLPIR_FileProcess对整个文本进行分词。
其中第（2）种有时候会出现bug，分词进行到文本某一处时会进行不下去。


3.LTP有在线API和本地两种：
（1）在线API受限于URI构造规则，不能提交一些特殊字符（如#、&、+、换行符、英文分号等），而且存在极少数未知的组合bug（比如and和in居然不能同时提交）；

（2）本地LTP在分词时则不受上述限制。

符号	问题
换行符	程序直接报错
&	会影响句子处理（句子会被截断）
英文分号;	会影响句子处理（句子会被截断）
#	会影响句子处理（程序直接报错，如“C#”）
+	会被系统删除（如“互联网+”、“C++”）

        基于上述原因，调用在线API分词和本地分词两种方式的分词结果会有差异，而且除了上述特殊字符引起的差异外，还会有其他一些极少数差异。

差异统计：3000个句子，有40句存在分词差异。
“+”引起：21句
“#”引起：2句
其他：17句

LTP本地	LTP在线		LTP本地	LTP在线
异常 点	异常点		多 年	多年
不好的	不好 的		过 关	过关
书 挺 不错 的	书挺 不错 的		白 学 了	白学 了
很快	很 快		就 此	就此
赶上	赶 上		网络类 的 图书	网络 类 的 图书
初学者	初 学者		缺 失	缺失

上述例子并不绝对，在有些句子里，在线切分也能够将“初学者”切分出来，而本地切分却会将其切分成“初”“学者”。

4.用户词典：
（1）NLPIR分词时将优先使用用户词典；
（2）LTP用户词典：官方补充说“LTP的分词模块并非采用词典匹配的策略，外部词典以特征方式加入机器学习算法，并不能保证所有的词都是按照词典里的方式进行切分”；
所以LTP有些词加入用户词典也无效，比如“C++”、“C#”、“互联网+”。


5.哈工大LTP与中科院NLPIR分词差异

        试验了3000句，去除哈工大停用词后有31259个词，其中1505句分词结果完全一样。

        注意：列表只是给出一些词在某些句子里的切分情况，并不表示在所有句子里都是这样切分。在有些情况下，哈工大和中科院的切分方法甚至会反过来。

        整体上感觉中科院NLPIR在很多词上更倾向于分得更小。

下表给出了导致不一致的一些分词：

哈工大LTP分词	中科院NLPIR分词
正在	正 在
给力	给 力
不用说	不用 说
有点	有 点
翻译家	翻译 家
一 大 堆话	一 大 堆 话
只有	只 有
字字千金	字字 千金
网络类	网络 类
不过	不 过
楼主	楼 主
看 起来	看起来
大牛	大 牛
免邮费	免 邮费
赞赞赞	赞 赞 赞
初 学者	初学者
这 本 书	这 本书
难看 懂	难 看 懂
只能	只 能
有 人 说	有人 说
难懂	难 懂
有些	有 些
真的	真 的
还是	还 是
以前	以 前
实体书	实体 书
有 些	有些
不错	不 错
说是 很 不错	说 是 很 不 错
是否 对 味口	是否 对味 口
书摸 起来 的 质感	书 摸 起来 的 质感
与时俱进	与 时 俱 进
就是	就 是
错版	错 版
来 入门 的 话	来 入门 的话
经典 之 作	经典之作
膜拜	膜 拜
不好	不 好
你们	你 们
离 不 开	离不开
很多	很 多
知易行 难	知 易行 难
实乃	实 乃
倾情	倾 情
有着	有 着
有 点	有点
很 多	很多
高管	高 管
一下	一 下
延展	延 展
但是	但 是
亚马逊	亚 马 逊
就 是	就是
图灵 图书	图 灵 图书
安卓	安 卓
进阶	进 阶
例程	例 程
入 门书	入门 书
最好	最 好
还有	还 有
心痛	心 痛
会上瘾	会上 瘾
上来	上 来
实用性	实用 性
原书	原 书
没 得 说么 就 是 好	没 得 说 么 就 是 好
源码	源 码
跟着	跟 着
一部分	一 部分
说说	说 说
太坑 了	太 坑 了
入门者	入门 者
不怎么样	不 怎么样
开发者	开发 者
本书	本 书
无 需 多 说	无需 多 说
正版书	正版 书
一 本 完 完全全 的 入门书	一 本 完 完全 全 的 入门 书
微博	微 博
一页纸	一 页 纸
中文字	中 文字
没有	没 有
有点 取宠 之 嫌	有点 取 宠 之 嫌
禅意	禅 意
炫技	炫 技
未曾	未 曾
可是	可 是
更新	更 新
菜鸟	菜 鸟
书挺 不错 的	书 挺 不错 的
后端	后 端
早就	早 就
再说 吧	再 说 吧
看看	看 看
不行	不 行
很快	很 快
只是	只 是
九流	九 流
若是	若 是
名头	名 头
书香味	书 香味
知识点	知识 点
个人	个 人
当作 参考 书用	当作 参考书 用
逻辑 思维	逻辑思维
到货	到 货
污损	污 损
之前	之 前
一点点	一点 点
完虐	完 虐
晒 图	晒图
没法	没 法
一起	一 起
第几	第 几
在线	在 线
不能	不能
右下角	右 下 角
电商	电 商
支付宝	支付 宝
物联网	物 联网
难得一见	难 得 一 见
睁 眼 瞎	睁眼瞎