关于词统计的一点闲碎备忘

关于词统计的一点闲碎备忘

对于英语，一般用空格来区分单词，似乎很容易得到所谓的“词”。然，不尽然。

单词的大小写，名词的格，动词的时态语态等的影响是不能被忽略的。

a       126

A       43  大小写，专有名词等。

and     108

And     2   大小写

Area    1

areas   11  名词的格（复数）

assume  2

assumed 1   动词的时态和语态

对于汉语，没有像空格这样的区分，是不是更麻烦了些呢。