NLP基础笔记1——中文分词技术

一、简介

中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

中文分词是其他中文 (信息) 处理的基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。

目前主流分词方法：基于规则，基于统计以及二者混合。

基于规则的分词：主要是人工建立词库也叫做词典，通过词典匹配的方式对句子进行划分。其实现简单高效，但是对未登陆词很难进行处理。主要有正向最大匹配法FMM，逆向最大匹配法RMM以及双向最大匹配法Bi-MM。

二、准确分词方法（以jieba、hanlp为例）

1加载自定义字典

当分词工具分词不准确时，需要加载自定义词典！

正则表达式常用函数

①re.sub用于替换字符串中的匹配项

②compile 函数：用于编译正则表达式，生成一个正则表达式（ Pattern ）对象

③findall 函数：在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

注意： match 和 search 是匹配一次 findall 匹配所有。

④split 函数：按照能够匹配的子串将字符串分割后返回列表

 Python正则表达式

2动态调整词频和字典顺序

当分词字典的词冲突，相互影响时，需要调整词频和字典顺序！

①假设字典中定义的词也可能被切开，此时需要调用jieba.suggest_freq函数

      例如“台中”，字典中定义了依然会分为“台”，“中”

②使用hanlp时，需要用sort_dict_by_lenth.py来排序字典，不然会冲突

      比如字典中有“数据挖掘算法工程师”和“数据挖掘”两个，排序后就可以最长字符串匹配

③拓展： 基于词典的中文分词