video caption评价标准简介

1.     BLEU

1.1       N-gram precision

观察如下示例：candidate1的1-gram precision为17/18，candidate2的1-gram precision为8/14.

1.2       Modified n-gram precision

对于下面的例句，其1-gram precision为7/7=1，显然这不是一个完整的句子，因此，这是不合理的。考虑改进的n-gram precision，如果一个unigram在reference sentence中已经被匹配过一次，则不会进行第二次匹配。

因此，修正过的n-gram precision，考虑了这一因素，

其中，

这样，candidate的modified 1-gram precision为2/7，而不是7/7.

1.3 Sentence brevity penalty

对于某些很短的句子，如下面的例句，虽然不能构成完整的有意义的一句话，但是由于它的所有unigram都可以在reference sentences中得到匹配，因此它的modified n-gram precision为1。考虑到这一因素，我们需要引入一个brevity penalty factor，对过于短的句子进行惩罚。

1.4  BLEU metrics

综合以上因素，得到BLEU的计算公式为：

一般，我们将N取到4. BLEU值越大，说明生成的句子越好。

2. ROUGE-L

不同于BLEU只考虑了precision，ROUGE是基于recall的相似度计算方法。

2.1 LCS（最长公共子序列）

2.2 ROUGE-L

3.  METEOR

3.1 创建alignment

根据以下准则创建candidate到reference的unigram之间的alignment：

1）每个candidate的unigram只能映射到0-1个reference的unigram

2）Unigram map criteria

      Exact：只有两个unigram完全相同时可以进行映射

      Porter stem：两个unigram为同根词时可以进行映射，如“computers”和“computer”

       WN synonymy：两个unigram为同义词时可以进行映射。

      一般情况下，首先考虑exact，其次为porter stem，最后为WN synonymy。

3）如果存在多种映射方式构成一个alignment，则选择有最少交叉映射数量的映射方式

3.2 F-mean

得到candidate和reference的unigram-alignment之后，计算它们的precision和recall，得到F-mean：

3.3 惩罚系数

考虑到如下的序列，ABCD和BDAC，虽然每个unigram都可以匹配上，但顺序完全不同，因此，引入一个惩罚系数，对这种不连续的情况进行处理。

Chunk：连续且匹配的语句块，最小长度为1

4. CIDEr

4.1 TF-IDF

在所有Image对应的reference senteces中频繁出现的n-gram，很可能是包含信息量很少的没有意义的词，应该给予更小的权重。因此，计算TF-IDF作为第k个n-gram的权重

4.2 CIDEr

将所有的n-gram得到的权重排在一起，可以得到一个向量。计算candidate和reference的余弦距离，得到CIDErn。

一般，N取到4

参考文献

1. BLEU: a Method for Automatic Evaluation of Machine Translation

2. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments

3. CIDEr: Consensus-based Image Description Evaluation