无监督分词中ngram片段的基础特征总结

        无监督分词，主要思路就是从未标注的语料(生语料)中抽取n-gram片段，然后计算这些n-grams的特征，进而根据这些特征判别哪些是“词”，哪些不是“词”。然后根据这些特征对字符串进行分词。

        也就是说，无监督分词可以分成两个研究领域，一个叫做词抽取(word extraction)，就是只从生语料中抽取出一个词的列表来，另一类则是分词，需要在词抽取的基础上，进行进一步的分词操作，这种操作一般可以认为是一种解码过程。

无监督分词n-gram的特征常用的有四个：

1 子字符串削减词频，Frequency of sub-string with reduction(FSR).基本就是词频特征，其基本的idea就是认为如果两个重合的n-gram，一个包含另外一个，词频一致，则较短的n-gram就不是词，需要淘汰。

FSR(w)=log(p(w)),其中w就是n-gram片段，p(w)就是取w的词频。

一般而言，这个方法还包含一个"Statistical substring reduction"操作，就是将相同频率的子字符串删除。

2 描述长度增益，Description length gain。一个n-gram片段用x(i)x(i+1)...x(j)表示，而全部语料可以用X=x(1)...x(n)表示