Sogou的语料库的问题


最近在训练HMM模型的时候,发现一句话的结果很奇怪,原文“据北京中原地产...”。可是我的模型输出结果是“聚北京中原....”。程序写错了? 不应该呀,模型调试过好多次应该没有这么严重的问题呀。

 

于是开始从数据下手,发现二元的“聚北”和三元的“聚北京”出现次数异常的高,远远超过“据北京”的频率,这样导致最终的模型计算概率的结果出现问题。再返回到最原始的抽取数据去看看到底什么内容是“聚北京”呢。于是从500多GB的原始数据里去grep,发现一句话“>>全球顶尖保镖将齐聚北京WS”出现次数异常高,还有就是“>>盖茨举家看奥运众富豪聚北京<<”,这两句话几乎每个统计文件里出现的次数都达到数千次。

 

这也许就是从互联网统计数据的一个问题,有时候一个比较热门的新闻被转载太多次数,导致某些关键字的统计结果出现问题。

你可能感兴趣的:(互联网,行业数据)