NLP任务常见评价指标

1、匹配任务

 

Bleu

可以直接用问答系统的评估标准，比如BLEU，不过这样只是看单词个数对了多少，不准的，毕竟一句话表达方式也有很多。

所谓BLEU，最开始是用于机器翻译中。对于一个给定的句子，有标准译文S1，还有一个神经网络翻译的句子S2。BLEU的思想就是对于出现机器翻译S2的所有短语，看有多少个短语出现在S1中，然后算一下这个比率就是BLEU的分数了。

首先根据n-gram划分一个短语包含单词的数量，有BLEU-1,BLEU-2,BLEU-3,BLEU-4。分别就是把文章划分成长度为1个单词的短语，长度为2个单词的短语……然后统计它们出现在标准译文中个数，在分别除以划分总数，就是对应的BLEU-1分数，BLEU-2分数。。，其实就是准确率。看这些划分中有多少是出现在标准译文当中的。一般而言：unigram 的准确率可以用于衡量单词翻译的准确性，更高阶的 n-gram 的准确率可以用来衡量句子的流畅性，n={1,2,3,4}

但是BLEU会有个缺陷，假如我就翻译一个单词，而这个单词正好在标准译文中，那岂不是准确率100%，对于这个缺陷，BLEU算法会有个长度惩罚因子，就是翻译太短了就会有惩罚，不过，总的来说，还是偏向于短翻译分数高一点。