吴军数学之美第二版学习笔记4

第4章 谈谈分词

一、概念与主题

1，分词的一致性

2，词的颗粒度

3，词的层次

二、延伸阅读

三、备注

1，最简单的分词方法，就是查字典。

2，一般来讲，应用不同，汉语分词的颗粒度大小应该不同。

3，中文分词以统计语言模型为基础，到今天可以看做是一个已经解决的问题。分词器的差别主要在于数据的使用和工程实现的精度。

4，中文分词技术，在英语的手写体识别中也能派上用场。