自然语言处理——5.5 语言模型(应用举例)

汉语分词问题

1. 做如下约定

把一个可能的词序列 转换成词类序列,即:

  • 专有名词:人名PN、地名LN、机构名ON分别作为一类;
  • 实体名词中的日期dat、时间tim、百分数per、货币mon 等作为一类;
  • 对词法派生词MW和词表词LW,每个词单独作为一类。
自然语言处理——5.5 语言模型(应用举例)_第1张图片

自然语言处理——5.5 语言模型(应用举例)_第2张图片

自然语言处理——5.5 语言模型(应用举例)_第3张图片

自然语言处理——5.5 语言模型(应用举例)_第4张图片
自然语言处理——5.5 语言模型(应用举例)_第5张图片

分词与词性标注一体化方法

自然语言处理——5.5 语言模型(应用举例)_第6张图片

自然语言处理——5.5 语言模型(应用举例)_第7张图片

自然语言处理——5.5 语言模型(应用举例)_第8张图片

自然语言处理——5.5 语言模型(应用举例)_第9张图片

自然语言处理——5.5 语言模型(应用举例)_第10张图片

自然语言处理——5.5 语言模型(应用举例)_第11张图片

自然语言处理——5.5 语言模型(应用举例)_第12张图片
自然语言处理——5.5 语言模型(应用举例)_第13张图片

自然语言处理——5.5 语言模型(应用举例)_第14张图片

自然语言处理——5.5 语言模型(应用举例)_第15张图片

自然语言处理——5.5 语言模型(应用举例)_第16张图片

你可能感兴趣的:(自然语言处理——5.5 语言模型(应用举例))