Seq2Seq序列问题评估指标总结: Edmundson、Rouge、BLEU

Seq2Seq序列问题评估指标总结: Edmundson、Rouge、BLEU

序列到序列建模是解决NLP中较难任务的核心，它包括：1、 自动文摘（Text Summarization）；2、 文本简化（Text simplification）；3、 问答（Question answering）；4、 聊天机器人（Chatbots）；5、 机器翻译（Machine translation）。本文对序列问题常用评估方法进行总结。

Edmundson

通过比较机械文摘（自动文摘系统得到的文摘）与目标文摘的句子重合率(coselection rate)的高低来对系统摘要进行评价。

也可以主观评估，就是由专家比较机械文摘与目标文摘所含的信息，然后给机械文摘一个等级评分。等级可以分为：完全不相似，基本相似，很相似，完全相似等。

每一个机械文摘的重合率为按三个专家给出的文摘得到的重合率的平均值：

$平均重合率＝{\sum }_{i=1}^n匹配句子数／专家文摘句子数\times 100％$

Edmundson比较的基本单位是句子，是通过句子级标号分隔开的文本单元，句子级标号包括“。”、“：”、“；”、“！”、“？”等。为使专家文摘与机械文摘具有可比性，只允许专家从原文中抽取句子，而不允许专家根据自己对原文的理解重新生成句子，专家文摘和机械文摘的句子都按照在原文中出现的先后顺序给出。

ROUGE

Rouge (recall-oriented understand for gisting evalution)

Rouge-1, Rouge-2, Rouge-N

Rouge-N定义如下，其中n=1,2,3,4....n, Ref Summaries 表示参考结果：

$RougeN=\frac{{\sum }_{S\in \{RefSummaries\}}{\sum }_{gra{m}_n\in S}Coun{t}_{match}(gra{m}_n)}{{\sum }_{S\in \{RefSummaries\}}{\sum }_{gra{m}_n\in S}Count(gra{m}_n)}$

再解释Rouge N之前需要先了解其中gram的意义。gram来自n-gram，那么n-gram是什么？

详细的例子可以查看其他博客，在这里简单的举几个例子方便读者理解：

• 生成项（pred）：

四川 九寨沟 7.0 级 地震

• 参考项（gold）：

九寨沟 发生 7.0 级 地震

id	pred 1-gram	gold 1-gram	pred 2-gram	gold 2-gram
1	四川	九寨沟	四川 九寨沟	九寨沟 发生
2	九寨沟	发生	九寨沟 7.0	发生 7.0
3	7.0	7.0	7.0 级	7.0 级
4	级	级	级 地震	级 地震
5	地震	地震
Count	5	5	4	4

回到Rouge-N的公式，(pred, gold)的Rouge-1如何计算呢？分子中统计的是pred和gold的1-gram结果match的数量，如表中所示可以发现有4项匹配，因此分子是4。分母则是参考项(gold)的1-gram结果数量也就是5，因此最终的结果是：（Rouge-N都可以参考这个思路计算）

$Rouge1(pred,gold)=\frac{4}{5}=0.8$

Rouge-L

其中的L表示的是LCS 最长公共子序列的首字母。定义如下所示：

$R_{lcs}=\frac{LCS(X,Y)}{m}$

$P_{lcs}=\frac{LCS(X,Y)}{n}$

$F_{lcs}=\frac{(1+{\beta }^2)R_{lcs}{P}_{lcs}}{R_{lcs}+{\beta }^2{P}_{lcs}}$

其中$LCS(X,Y)$是X和Y的最长公共子序列的长度，m、n分别表示参考项和生成项的长度（一般就是所含词的个数）。 $R_{lcs}$和$P_{lcs}$分别表示召回率和准确率。最后的 $F_{lcs}$即是我们所说的Rouge-L。在DUC测评中，beta 被设置为一个很大的数（->∞），于是Rouge-L与上文的召回率对应。

依旧以九寨沟地震为例：

• 生成项（pred）：

四川 九寨沟 7.0 级 地震

• 参考项（gold）：

九寨沟 发生 7.0 级 地震

最长公共子序列为 九寨沟 7.0 级 地震，因此得到：

$RougeL=R_{lcs}=\frac{4}{5}=0.8$

注：这里说的是sentence level的Rouge-L。对于summary level，summary中的每个句子与参考想进行比对，LCS统计所有句子之和。

ROUGE-W

WeightLongest Common Subsequence， 在Rouge L的基础上添加权重，为使连续匹配比不连续匹配赋予更大的权重。同一LCS下，对连续匹配词数多的句子赋予更高权重，比LCS区分度更高。如：

$X:[\underline{A},\underline{B},\underline{C},\underline{D},E,F,G]$

$Y_1:[\underline{A},\underline{B},\underline{C},\underline{D},H,I,K]$

$Y_2:[\underline{A},H,\underline{B},I,\underline{C},K,\underline{D}]$

其中$X$是参考摘要，$Y_1$和$Y_2$是自动摘要。可以看到，虽然$Y_1$和$Y_2$与$X$计算CLS值相等，Rouge L也相等，但明显，$Y_1$的结果优于$Y_2$。

ROUGE-S

Skip-Bigram Co-Occurrence Statistics，即使用了skip-grams，在参考摘要和待评测摘要进行匹配时，不要求gram之间必须是连续的，可以“跳过”几个单词，比如skip-bigram，在产生grams时，允许最多跳过两个词。比如四川 九寨沟 发生 地震 的 skip-bigrams 就是 四川 九寨沟；四川 发生；四川 地震； 九寨沟 发生；九寨沟 地震； 发生 地震，共6个。

BLEU

BLEU(Bilingual Evaluation understudy)是一种流行的机器翻译评价指标，用于分析候选译文和参考译文中n元组共同出现的程度。

原始版本

使用一个累加器表示candidate中的词在reference doc中出现的次数, 从candidate doc 中的第一个词开始比较, 如果在参考文本中出现过, 那么计数加1. 最后使用这个累加值除以candidate doc 中的单词数目即可计算得到文本的BLEU取值, 我们称之为Precision。

Candidate	the	the	the	the	the	the	the
Reference	the	cat	is	on	the	mat

计算上表中示例的BLEU，可以看到Candidate中的每一个单词the在Reference都出现过，因此计算出来的结果就是$7/7=1$。但是实际上这个翻译非常不理想, 这也是最初的BLEU评估指标不完善的地方, 当遇到出现较多常见词汇时, 翻译质量不高的译文还能够得到较高的precision, 因此也诞生了后续的改良型BLEU计算指标的算法。

n-gram改良版本

引入将多个词组合在一起形成一个gram的思想, 比如原始版本的Bleu的计算可以看做一个单词构成的gram(这是一种特殊情况)。因此就可以构成1个单词长度到n个单词长度的多种单词组， 每一种长度的gram都可以计算出一个相应的precision $P_n$。对于该种长度gram 的precision我们还需要把它们整合起来, 一般使用加权集合平均的方法将n个计算出的precision整合成一个precision。

公式

下面根据公式具体解释计算过程。

假设参考文献的数量为$M$，假设长度为n的gram中的一个组合为$W{n}_i$（其中$W$表示word集合，$n$表示n-gram，$i$表示word的index），同时可以计算出这个单词在第$j$个参考文档中出现的次数, 用符号$Re{f}_{w{n}_i}^j$，由于参考文献有$M$个, 选择这$M$个参考文献取值中的最大值进行下一步计算，记作：

$Re{f}_{w{n}_i}^{\max }=\mathrm{Max}\left(\mathrm{Re}{f}_{w{n}_i}^j\right)j=0,1,2\dots M-1$

将当前组合$W{n}_i$在candicate doc中出现的次数记做$Coun{t}_{w{n}_i}$，和$Re{f}_{w{n}_i}^{\max }$ 进行比较，选择两个计算值中的最小值进行下一步计算, 记作：

${\text{Count }}_{w{n}_i}^{res}=\mathrm{Min}\left({\mathrm{Count}}_{w{n}_i},{\mathrm{Ref}}_{w{n}_i}^{\max }\right)$

定义参考文献长度为$n$的gram的组合共有$K$种，最终precision计算公式如下:

$P_n=\frac{{\sum }_{i=0}^{K-1}{\text{ Count }}_{w{n}_i}^{res}}{{\sum }_{i=0}^{K-1}{\text{ Count }}_{w{n}_i}}$

以上公式是长度为n的所有gram的precision计算公式，由于这个n的取值可以1到candidate doc长度 $N$, 需要将最终得到的这$N$个precision进行整合。 此处可以使用求加权几何平均数的方法对这$N$个precision求出平均精度。

在做加权集合平均之前,可以对公式进行一定的变形假设权值序列为$Wn(n=0,1,2...N-1)$。可以求得集合加权平均的precision公式如下：

$P_{avg}=\sqrt[{\sum }_{n=0}^{N-1}{W}_n]{\prod P_n^{W_n}}=e^{l{n}^{\sqrt[{\sum }_{n=0}^{N-1}{W}_n]{\prod P_n^{W_n}}}}=e^{\frac{{\sum }_{n=0}^{N-1}{W}_n\ast l{n}^{P_n}}{{\sum }_{n=0}^{N-1}{W}_n}}$

一般情况下权值全部取1, 因此可以得到简化的几何平均精度：

$P_{avg}=e^{\frac{{\sum }_{n=0}^{N-1}\ln P_n}{N}}$

举例

下面举例说明计算过程：

Candidate	the	cat
Reference1	a	cat	is	on	the	mat
Reference2	there	is	a	cat	on	the

根据上述的计算平均精度的公式，计算BLEU的计算过程为:

获取Candidate的1-gram结果：

$\text{candi-1-gram}:\text{’the’, ’cat’}$

分别计算Reference1，Reference2中Candidate的1-gram结果出现的次数，求没中情况的最大值:

• 对于1-gram结果，单词the

${\mathrm{Ref}}_{w{1}_{\text{the}}}^1=1$

${\mathrm{Ref}}_{w{1}_{\text{the}}}^2=1$

${\mathrm{Ref}}_{w{1}_{\text{the}}}^{max}=1$

• 对于1-gram结果，单词cat

${\mathrm{Ref}}_{w{1}_{\text{cat}}}^1=1$

${\mathrm{Ref}}_{w{1}_{\text{cat}}}^2=1$

${\mathrm{Ref}}_{w{1}_{\text{cat}}}^{max}=1$

因此得到两个情况的${\text{Count }}^{res}$：

${\text{Count }}_{w{1}_{\text{the}}}^{res}=min({\text{Count }}_{w{1}_{\text{the}}},{\mathrm{Ref}}_{w{1}_{\text{the}}}^{max})=min(1,1)=1$

${\text{Count }}_{w{1}_{\text{cat}}}^{res}=min({\text{Count }}_{w{1}_{\text{cat}}},{\mathrm{Ref}}_{w{1}_{\text{cat}}}^{max})=min(1,1)=1$

最终得到1-gram的Precision，$P_1$：

$P_1=\frac{{\text{Count }}_{w{1}_{\text{the}}}^{res}+{\text{Count }}_{w{1}_{\text{cat}}}^{res}}{{\text{Count }}_{w{1}_{\text{the}}}+{\text{Count }}_{w{1}_{\text{cat}}}}=\frac{1+1}{1+1}=1$

同理得到2-gram的Precision，$P_2$：

$P_2=\frac{{\text{Count }}_{w{2}_{\text{the cat}}}^{res}}{{\text{Count }}_{w{2}_{\text{the cat}}}}=\frac{1}{1}=1$

值全部取1, 因此可以得到简化的几何平均精度：

$P_{avg}=1$

短译句的惩罚因子

可见，n-gram改良版本BLEU针对于翻译结果为短句的情况依然会得出不准确的评估。

因此在这个基础上引入了对于短翻译句子的惩罚因子。 引入一个参考长度(记做$Re{f}_{len}$)，同时定义candidate doc 的长度为$c$。当$c$小于参考长度时，需要添加惩罚因子。那么惩罚因子计算公式如下：

$\theta =\{\begin{array}{l}1,c\ge Re{f}_{len}\\ e^{1-\frac{Re{f}_{len}}{c}},c<Re{f}_{len}\end{array}$

综上所述, 含有惩罚因子的BLEU最终的计算公式如下:

$P_{avg}=\theta \ast e^{\frac{{\sum }_{n=0}^{N-1}\ln P_n}{N}}$

关于参考长度的选择其实没有固定的准则。 如果是比较严格的情况下可以选择将最长的reference doc的长度作为参考长度, 一旦翻译文档不是最佳匹配的情况都会受到短句惩罚因子的影响。

引入短句的惩罚因子, 对上述的短句翻译例子的最终平均精度计值为(此时选择的参考长度为reference doc中的最长句子长度,值为7):

$P_{avg}=e^{1-7/2}\ast 1=0.082$

从结果可以看出使用了惩罚因子过后, 很大程度上降低了短翻译句子的精度, 使得模型的评估更加准确.

常用方法总结与对比

方法	优点	缺点	应用场景
Rouge-N	直观，简洁，能反映词序	区分度不高，且当N>3时，ROUGE-N值通常很小	ROUGE-1：短摘要评估，多文档摘要（去停用词条件）;ROUGE-2: 单文档摘要，多文档摘要（去停用词条件）
Rouge-L	不要求词的连续匹配，只要求按词的出现顺序匹配即可，能够像n-gram一样反映句子级的词序。自动匹配最长公共子序列，不需要预先定义n-gram的长度。	只计算一个最长子序列，最终的值忽略了其他备选的最长子序列及较短子序列的影响。	单文档摘要；短摘要评估。
BLEU	方便、快速、结果有参考价值	1. 不考虑语言表达（语法）上的准确性；2. 测评精度会受常用词的干扰； 3. 短译句的测评精度有时会较高； 4. 没有考虑同义词或相似表达的情况，可能会导致合理翻译被否定	评估机器翻译质量的工具；还用于语言生成、图片标题生成、文本摘要、语音识别等问题中

参考资料

1. 自动文摘评测方法：Rouge-1、Rouge-2、Rouge-L、Rouge-S
2. 学习笔记———《自动文档摘要评价方法—Edmundson和ROUGE》
3. 机器翻译自动评估-BLEU算法详解
4. 自然语言处理——BLEU详解以及简单的代码实现