中文分词性能分析方法

将文本的分词结果用许多数值对来表示。每一对数字对应一个词，表示词的首字和末字在文本中的位置。

例如有一个字符串文本：

万人大会堂今晚座无虚席

字符串中每个字符的索引分别为：

 0  1  2  3  4  5  6  7  8  9 10

标准分词结果如下：

万|人|大会堂|今晚|座无虚席

我们分词结果用一个个数值对来表示（根据每个词在字符串中的索引顺序）：

(0,0) (1,1) (2,4) (5,6) (7,10)

这样通过比较 标准分词结果 和 测试分词结果 的数值对的重合情况，就能计算出测试分词结果的正确分词数。从而计算出准确率和召回率。

 

准确率和召回率计算方法如下：

例如：

若正向最大匹配分词结果为           万 | 人大 | 会堂 | 今晚 | 座无虚席

得到数值对                                   (0,0) (1,2)  (3,4)   (5,6)    (7,10)

切分结果中正确分词数=3   （与标准分词结果中有3个数值对相同）

切分结果中所有分词数=5

标准切分中所有分词数=5

准确率=3/5     召回率=3/5

 

逆向最大匹配分词结果为               万 | 人 | 大会堂 | 今晚 | 座无虚席

得到数值对为                               (0,0)(1,1)   (2,4)    (5,6)    (7,10)

切分结果中正确分词数=5   （与标准分词结果中有5个数值对相同）

切分结果中所有分词数=5

标准切分中所有分词数=5

准确率=1          召回率=1