轻松入门自然语言处理系列 专题8 源码解读──基于HMM的结巴分词

文章目录

  • 前言
  • 一、jiaba分词总览
  • 二、源代码分析
    • 1.前缀字典
    • 2.DAG
    • 3.最大概率切分组合
    • 4.未登录词问题
  • 总结

前言

本文主要介绍了基于HMM的jieba分词,主要包含分词总览、源代码分析。

一、jiaba分词总览

中文不像英文单词之间以空格分割,而是以字为分界的,因此需要专门进行分词,分词也是一项基本的工作,同时分词的准确度直接影响到后续中文NLP任务的效果。中文分词存在着一些难点,包括歧义切分(多义组合、词之间的重叠)、新词,这些都会影响到分词的精度。最常用的中文分词工具是结巴分词,可参考https://github.com/fxsjy/jieba。

jieba分词的分词策略:

  1. 基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG);

  2. 采用了动态规划

你可能感兴趣的:(轻松入门自然语言处理系列,自然语言处理,结巴分词,jieba源码,贪心学院)