Day 2 中文分词算法

与拉丁语系语言不同,汉藏语系的自然语言中词汇是没有自然分割开的,因此中文分词是中文自然语言处理的第一步(不过可以考虑和后面的步骤结合在一起来降低算法复杂度啊……然后还可以考虑仿生算法),所以先研究和总结一下现有的中文分词算法。

本文许多内容参考这篇文献,感谢分享。本文就是在理解这篇文献的基础上加点私货。

文献中看到(当然这个不是权威文献,可能不够可靠),斯坦福的CRF好像是现在效果最好的算法(中文分词算法最好的竟然是外国研究机构也是醉了),但是算法复杂度比较大,效率不够高,所以我们来讨论一下一些常用的模型。

字典匹配

最简单的就是字典匹配,其实跟暴力破解里面的一些想法比较类似,就是搞个词库,然后遍历对比词库里有没有这个词。当然有时候还要考虑到整个句子分解的完整性,最经典的就是“最大匹配”的思想,就是尽可能的匹配最长的词,比如我的句子里有“马克思主义”这个词,而我的词典里有“马克思”和“马克思主义”这两个词,肯定是去匹配“马克思主义”这个最长的词。其实可以理解为“马克思主义”的匹配优先级比“马克思”高,其实我觉得都不需要额外的计算量,只要把合成词的优先级调整在原词前面就好了。
[个人疑惑:在这个过程中是不是要保证匹配出的词汇数也尽量小]

统计与消除歧义

当然,我在Day 0里就提到了,所有的计算机项目如果没有“社科经验”的指导是很难提高效率的,其实这就是所谓的“启发式”算法,在分词算法中比较有名的之一就是MMSEG。在这个算法中也延伸到了第二种分词思路,统计消除歧义。
举个简单的例子,“黑键盘/算什么”在没有消除歧义的情况下有可能被分成“黑键/盘算/什么”。
MMSEG算法采取了以下四个规则来消除歧义:

  1. 选取最大匹配词汇;
  2. 最大平均单词长度;
  3. 单词长度的最小方差;
  4. 单字单词的语素自由度的最大和(一个汉字的出现频率可以作为它的语素自由度的索引。一个高频率的汉字更可能是一个单字单词,反之亦然。)
    具体规则内容和实例可以查看这篇文献翻译。

而统计算法的实例可以参见这篇文章

对于一个中文字符串“a1a2a3...an”如何正确的用词语c1,c2..cm表示就是中文分词的任务,也就是说我们要去找寻P(c1c2..cm)最大的分词,按照马尔科夫链的想法就是说我们就是求P(c1)P(c1|c2)P(c1c2|c3)...P(c1c2...cm-1|cm)最大。按照阿卡姆剃刀的想法我们可以假设一个最可能的实现,于是google黑板报的假设就是每个词只跟前面的词有关,于是变为求P(c1)P(c1|c2)P(c2|c3)...P(cm-1|cm)最大。进一步的其实我们可以假设每个词都是相对独立的,也就是求P(c1)P(c2)...P(cm)最大,那么这个怎么求呢,就是用dp的方法。

解决字典中不存在的词语

隐马尔可夫模型HMM(Hidden Markov Model)(<-这个项目简直就是救星,感觉基础模型就可以照做了,不过千万不能抄袭。)基于字标注的分词,把分词问题转变为标注问题。
例如:“我s喜b欢e天b安m门e”
其中标注的含义为
s:single(标注前为单字)
b:begin(标注前为词语开始)
m:middle(标注前为词语中间)
e:end(标注前卫词语末尾)

进一步的概率模型

在对语义处理的过程中最大熵模型ME(Maximum Entropy)、最大熵马尔可夫模型MEMM(Maximum-entropy Markov model)和条件随机场CRF(Conditional Random Field)被分别提出(这也是我在开头提到的,既然都开始分析语义了,自然可以把分词和后续的语义分析过程结合在一起了)。
这篇文章介绍了信息熵的概念,信息熵越大不确定性也就越大,信息熵最大时表示各种概率的均等分布,也就是个不偏不倚的猜测,最大熵模型一般就是在已知条件下,来求是的熵最大的情况。
p¯(f)=Σp¯(ai,ci)∗f(ai,ci)=p(f)=Σp(ci|ai)∗p¯(ai)∗f(ai,ci)
在已知条件下就是求熵最大的情况
argmaxH(ci|ai)
因为这些算法我还没有深入了解,就不继续抄袭这篇文献了,有兴趣的同学可以去看看,如果我有深入了解和新的理解之后之后过几天再更新,并且会在这篇更新链接。

Deep Learning

这篇2013年的文献已经采用了Deep Learning的方法解决分词问题。具体而简洁地说就是神经网络什么的,有空再深入挖掘。

(PS:昨天的Intro我没忘,不过今天晚上跟男神去电影院刷了一下,所以明天再战咯~)

That's all for today. See you tomorrow.
Kevin Ham@Wuhu
Department of Internet Engineering, Anhui Normal University, Wuhu, China
3.2.2015

你可能感兴趣的:(Day 2 中文分词算法)