分词词频分析和高频词搜索分布

转自:六翼的天使

1] 针对分词的系统,任何一个词出现的频率可以用如下的方法表达:
P(I) = N(I) / Sigma(N(J))
分布见图1

2] 对于任何两个词之间的相关性的分析,相关性的分布如图 2 (乘了系数1000)
超过1000的都是完全相关的词汇,例如手提电脑和便携电脑的相关系数在1500。

3] 针对Booso 搜索词的频率分布的统计分布 见图3:
在非常少的概率部分符合泊松分布。
极高频词的出现可以用来寻找突发时间

4] 针对Baidu最高频词的分布分析,由于其搜索量极大,因此符合正态分布(尾巴部分)见图4

你可能感兴趣的:(3.,中文分词技术)