mmseg4j 多分词模式与 paoding 分词效果对比

可以任意转载, 转载时请务必以超链接形式标明文章原文出处, 即下面的声明.

 

原文出处:http://blog.chenlb.com/2009/04/mmseg4j-max-word-segment-compare-with-paoding-in-effect.html

mmseg4j 1.6支持最多分词,应网友的要求:分词效果与 paoding 对比下。观察了 paoding 部分分词结果,现总结下。

paoding 分词效果:

  1. --------------------------   
  2. 清华大学   
  3. 清华 | 大 | 华大 | 大学 |   
  4. --------------------------   
  5. 华南理工大学   
  6. 华南 | 理工 | 大 | 大学 |   
  7. --------------------------   
  8. 广东工业大学   
  9. 广东 | 工业 | 大 | 业大 | 大学 |   
  10. --------------------------   
  11. 西伯利亚   
  12. 西伯 | 伯利 | 西伯利亚 |   
  13. --------------------------   
  14. 研究生命起源   
  15. 研究 | 研究生 | 生命 | 起源 |   
  16. --------------------------   
  17. 为首要考虑   
  18. 为首 | 首要 | 考虑 |   
  19. --------------------------   
  20. 化装和服装   
  21. 化装 | 和服 | 服装 |   
  22. --------------------------   
  23. 中国人民银行   
  24. 中国 | 国人 | 人民 | 银行 |   
  25. --------------------------   
  26. 中华人民共和国   
  27. 中华 | 华人 | 人民 | 共和 | 共和国 |   
  28. --------------------------   
  29. 羽毛球拍   
  30. 羽毛 | 羽毛球 | 球拍 |   
  31. --------------------------   
  32. 人民币   
  33. 人民 | 人民币 |   
  34. --------------------------   
  35. 很好听   
  36. 很好 | 好听 |   
  37. --------------------------   
  38. 下一个   
  39. 下一 | 一个 |   
  40. --------------------------   
  41. 为什么   
  42. 为什么 |   
  43. --------------------------   
  44. 北京首都机场   
  45. 北京 | 首都 | 机场 |   
  46. --------------------------   
  47. 东西已经拍卖了   
  48. 东西 | 已经 | 拍卖 | 卖了 |   
  49. --------------------------   
  50. 主人因之生气   
  51. 主人 | 生气 |   
  52. --------------------------   
  53. 虽然某些动物很凶恶   
  54. 动物 | 凶恶 |   
  55. --------------------------   
  56. 朋友真背叛了你了   
  57. 朋友 | 真 | 背叛 |   
  58. --------------------------   
  59. 建设盒蟹社会   
  60. 建设 | 盒蟹 | 社会 |   
  61. --------------------------   
  62. 建设盒少蟹社会   
  63. 建设 | 盒少 | 少蟹 | 社会 |   
  64. --------------------------   
  65. 我们家门前的大水沟很难过。   
  66. 我们 | 家门 | 前 | 门前 | 前的 | 大 | 大水 | 水沟 | 很难 | 难过 |   
  67. --------------------------   
  68. 罐头不如果汁营养丰富。   
  69. 罐头 | 不如 | 如果 | 果汁 | 营养 | 丰富 |   
  70. --------------------------   
  71. 今天真热,是游泳的好日子。   
  72. 今天 | 天真 | 热 | 游泳 | 日子 | 好日子 |   
  73. --------------------------   
  74. 妹妹的数学只考十分,真丢脸。   
  75. 妹妹 | 数学 | 只考 | 十分 | 真 | 丢脸 |   
  76. --------------------------   
  77. 我做事情,都是先从容易的做起。   
  78. 做事 | 事情 | 都是 | 先从 | 从容 | 容易 | 容易的 | 做起 |   
  79. --------------------------   
  80. 老师说明天每个人参加大队接力时,一定要尽力。   
  81. 老师 | 师说 | 说明 | 明天 | 每个 | 个人 | 人参 | 参加 | 大 | 加大 | 大队 | 接力 | 时 | 一定 | 定要 | 要尽 | 尽力 |   
  82. --------------------------   
  83. 小明把大便当作每天早上起床第一件要做的事   
  84. 小明 | 大 | 大便 | 便当 | 当作 | 每天 | 早上 | 上起 | 起床 | 床第 | 第一 | 一件 | 要做 | 做的 | 的事 |   

mmseg4j maxword 分词效果:

  1. --------------------------   
  2. 清华大学   
  3. 清华 | 大学 |   
  4. --------------------------   
  5. 华南理工大学   
  6. 华南 | 理工 | 工大 | 大学 |   
  7. --------------------------   
  8. 广东工业大学   
  9. 广东 | 工业 | 大学 |   
  10. --------------------------   
  11. 西伯利亚   
  12. 西 | 伯利 | 利亚 |   
  13. --------------------------   
  14. 研究生命起源   
  15. 研究 | 生命 | 起源 |   
  16. --------------------------   
  17. 为首要考虑   
  18. 为首 | 要 | 考虑 |   
  19. --------------------------   
  20. 化装和服装   
  21. 化装 | 和 | 服装 |   
  22. --------------------------   
  23. 中国人民银行   
  24. 中国 | 国人 | 人民 | 银行 |   
  25. --------------------------   
  26. 中华人民共和国   
  27. 中华 | 华人 | 人民 | 共和 | 国 |   
  28. --------------------------   
  29. 羽毛球拍   
  30. 羽毛 | 球拍 |   
  31. --------------------------   
  32. 人民币   
  33. 人民 | 币 |   
  34. --------------------------   
  35. 很好听   
  36. 很好 | 好听 |   
  37. --------------------------   
  38. 下一个   
  39. 下一 | 一个 |   
  40. --------------------------   
  41. 为什么   
  42. 为 | 什么 |   
  43. --------------------------   
  44. 北京首都机场   
  45. 北京 | 首都 | 机场 |   
  46. --------------------------   
  47. 东西已经拍卖了   
  48. 东西 | 已经 | 拍卖 | 了 |   
  49. --------------------------   
  50. 主人因之生气   
  51. 主人 | 因 | 之 | 生气 |   
  52. --------------------------   
  53. 虽然某些动物很凶恶   
  54. 虽然 | 某些 | 动物 | 很 | 凶恶 |   
  55. --------------------------   
  56. 朋友真背叛了你了   
  57. 朋友 | 真 | 背叛 | 了 | 你了 |   
  58. --------------------------   
  59. 建设盒蟹社会   
  60. 建设 | 盒 | 蟹 | 社会 |   
  61. --------------------------   
  62. 建设盒少蟹社会   
  63. 建设 | 盒 | 少 | 蟹 | 社会 |   
  64. --------------------------   
  65. 我们家门前的大水沟很难过。   
  66. 我们 | 家 | 门前 | 的 | 大水 | 水沟 | 很难 | 过 |   
  67. --------------------------   
  68. 罐头不如果汁营养丰富。   
  69. 罐头 | 不如 | 果汁 | 营养 | 丰富 |   
  70. --------------------------   
  71. 今天真热,是游泳的好日子。   
  72. 今天 | 天真 | 热 | 是 | 游泳 | 的 | 好 | 日子 |   
  73. --------------------------   
  74. 妹妹的数学只考十分,真丢脸。   
  75. 妹妹 | 的 | 数学 | 只 | 考 | 十分 | 真 | 丢脸 |   
  76. --------------------------   
  77. 我做事情,都是先从容易的做起。   
  78. 我做 | 事情 | 都是 | 先 | 从容 | 易 | 的 | 做起 |   
  79. --------------------------   
  80. 老师说明天每个人参加大队接力时,一定要尽力。   
  81. 老师 | 师说 | 明天 | 每个 | 个人 | 参加 | 大队 | 接力 | 时 | 一定 | 要 | 尽力 |   
  82. --------------------------   
  83. 小明把大便当作每天早上起床第一件要做的事   
  84. 小明 | 把 | 大便 | 当作 | 每天 | 早上 | 起床 | 第一 | 一件 | 要做 | 的 | 事 |   

paoding 几乎把所有的子词都拆出来,有时候还有最长的词,还没搞懂“华南理工大学”会分出“大”;mmseg4j 的 maxword 是在 complex分词后的结果再把子词都拆出来(1.6版按二元,不是词的去掉或保存单字。下一版本可能方式有点不同,“为什么”不应该为“为|什么”,也即是三个字的前后不是词的应该不分,有待研究,:))。

如“化装和服装” mmseg4j 的 complex是可以较好的分出来(“化装 | 和 | 服装”),而 paoding 少了字频的信息,比较难到这事。mmseg4j complex 也有个缺点:“都是先从容易的做起” 不能把“容易”分出来,这是因为 mmseg 算法是用 3 个chunk的原因,我认为把整句的 chunk (还是仅仅3个chunk)来处理的话,分词效果要好),当然要更多的开销,选3个可能是效果与性能平衡吧。

mmseg4j 没有加任何 stopword,这东西留给使用者自己加,因为我不认为加 stopword 是好的方法。如音乐搜索,给加上 the,this……,还能找到歌曲?

当然分词效果还与词库有关,sogou 的词库是统计得出,有些高频的单字组合也成了词,如“我们的”。如果还要提高 mmseg4j 的分词效果,还要在整理下词库。

你可能感兴趣的:(mmseg4j 多分词模式与 paoding 分词效果对比)