[ THUNLP-MT (2/10) ] BLEU: a Method for Automatic Evaluation of Machine Translation | NIST

本文讨论BLEU评价指标的主要原理。原论文由IBM发表于ACL’02，是老生常谈的一篇论文了。BLEU指标如今经常在机器翻译任务的评价中使用。 (被引用 8924 次。)此外，本文还讨论BLEU的变种，NIST评价指标。

BLEU 原论文传送门
BLEU: a Method for Automatic Evaluation of Machine Translation
NIST 原论文传送门
Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics

---

一个好的译文评分方法

应该同时具有敏感性和一致性两方面特性
》 敏感性
能够区分相似系统之间的好坏

》一致性
不会因为不同的测试文本和参考译文而影响对系统性能的评价

BLEU 主要原理

全名为：bilingual evaluation understudy，中文译为：双语互译质量评估辅助工具

》原理 : 机器翻译结果越接近专业人工翻译的结果，则越好。因此，考虑同现单元的计分。

$$\begin{array}{rl}\text{BLEU}& =\text{BP}\ast exp(\sum _{n=1}^N{w}_n\ast \text{log }{p}_n)\\ & \text{\# 累加 log }{p}_n,等于\text{ log }\prod _{n=1}^N{p}_n，\\ & \text{\# }会造成某项n-gram为零，整个\text{BLEU}为零。\end{array}\text{\hspace{1em}(1)}$$

$$\text{BP}=\{\begin{array}{rcl}1& & ,c>r\\ e^{(1-r/c)}& & ,c<=r\end{array}\text{\hspace{1em}(2)}$$

$$\begin{array}{rl}{p}_n& =\frac{{\sum }_{C\in \{Candidate\}}{\sum }_{n-gram\in C}Coun{t}_{clip}(n-gram)}{{\sum }_{C^{{}^{\prime }}\in \{Candidate\}}{\sum }_{n-gra{m}^{{}^{\prime }}\in C^{{}^{\prime }}}Count(n-gra{m}^{\prime })}\\ & \#\text{Candidate 表示系统译文，Candidate means translated sentences}\end{array}\text{\hspace{1em}(3)}$$

$$Coun{t}_{clip}=min(count,maxReferenceCount)\text{\hspace{1em}(4)}$$

$$\begin{array}{rl}\text{log BLEU}& =\text{log BP}+\sum _{n=1}^N{w}_n\ast \text{log}{p}_n\\ & =min(1-\frac{r}{c},0)+\sum _{n=1}^N{w}_n\ast \text{log}{p}_n\end{array}\text{\hspace{1em}(5)}$$

(1) 中，$\text{BP}$表示$\text{brevity penalty}$，即长度惩罚因子。$p_n$表示整个测试文本的准确度积分（Corpus-based N-gram Precision），一般N=4，且$w_n$=1/N。

(2) 表示的是，某个n-gram组成的集合在所有候选翻译句子中的出现概率，即同现单元的计分方法。其中，c 和 r 分别表示候选译文的长度和参考译文长度。当候选译文长度大于参考译文，$\text{BP}=1$ ，当候选译文长度小于等于参考译文长度，$\text{BP}<1$。即偏向较长的候选译文。

(3) 表示的是累积所有翻译句子修正后的 N-gram 计数，除上测试集中所有句子的 N-gram 计数。$C$和$C^{{}^{\prime }}$都表示系统译文，而分子表示的是系统译文出现在任何参考译文中的个数；分母表示的是系统译文的各个n-gram的计数加和。

(4) 表示修正后的 N-gram 计数的计算方式。即是每个单词在所有参考译文中的出现次数的最大值（在下式中用maxReferenceCount表示），以及单词在模型输出译文中的出现次数，两个值中的最小值。

(5) 表示取对数后的 BLEU 评价指标。

举例而言， “猫咪在垫子上。”
系统译文：the the the the the the the.
参考译文1：The cat is on the mat.
参考译文1：There is a cat on the mat.
$N=2$ （一般N=4）

当 $n=1$ 时，
未修正的测试文本准确度：
$\begin{array}{rl}{p}_1& =\frac{{\sum }_{C\in \{Candidate\}}{\sum }_{1-gram\in C}Count(1-gram)}{{\sum }_{C^{{}^{\prime }}\in \{Candidate\}}{\sum }_{1-gra{m}^{{}^{\prime }}\in C^{{}^{\prime }}}Count(1-gra{m}^{\prime })}\\ & =\frac{7}{7}=1\end{array}$
.
修正的测试文本准确度：（即避免系统译文中n-gram的个数，大于其在某个参考译文中出现的个数）
$\begin{array}{rl}Coun{t}_{clip}& =min(count,maxReferenceCount)\\ & =min(7,2)\\ & =2\end{array}$
.

当 $n=2$ 时，
未修正的测试文本准确度：
$\begin{array}{rl}{p}_2& =\frac{0}{6}\\ & =0\end{array}$
.
修正的测试文本准确度：（即避免系统译文中n-gram的个数，大于其在某个参考译文中出现的个数
$\begin{array}{rl}Coun{t}_{clip}& =min(count,maxReferenceCount)\\ & =min(6,0)\\ & =0\end{array}$

$c=7，r=7$（选取长度最接近的参考翻译，若存在多个则取最小的）
.
$\begin{array}{rlrl}\text{BP}& =e^{(1-r/c)}& & （c<=r）\\ & =1& & \end{array}$
.
$\begin{array}{rl}{p}_2& =\frac{6}{0}=0\text{\# 警告:除以零}\end{array}$
.
$\begin{array}{rl}\text{BLEU}& =\text{BP}\ast exp(\sum _{n=1}^2{w}_n\ast \text{log}{p}_n)\\ & =\text{BP}\ast exp(\sum _{n=1}^2\frac{1}{2}\ast log{p}_n)\\ & =\text{BP}\ast exp(\frac{1}{2}\ast log(2/7)+\frac{1}{2}\ast log(0))\text{\# 警告:除以零，解决：在源代码里返回了0}\\ & =\text{BP}\ast exp(\frac{1}{2}\ast log(2/7))\\ & =exp(\frac{1}{2}\ast log(2/7))=exp(\frac{1}{2})\ast \frac{2}{7}=0.471\end{array}$

NIST

NIST - National Institute of standards and Technology

》同现概率的几何平均 (=对数加权平均) 换成算术平均
对各阶 n-gram 同现单元的得分，取算术平均值。（原来 BLEU 是取加权平均）

》长度惩罚因子变种

$$\text{Score}=\sum _{n=1}^N\{\frac{{\sum }_{所有同现的w_1...w_n}\text{Info}(w_1...w_n)}{{\sum }_{系统译文中所有w_1...w_n}(1)}\}\cdot \exp \{\beta {\log }^2[min(\frac{L_{sys}}{\overline{L_{ref}}},1)]\}$$

$$\text{Info}(w_1...w_n)=\log \frac{\text{Num of }occurrencesof{w}_1...w_{n-1}}{\text{Num of}occurrencesof{w}_1...w_n}$$

To do this we used the F-ratio measure, namely the between-system
score variance divided by within-system score variance.
.
F-ratios 表示的是，不同系统间的得分偏差，除以某一系统本身的得分偏差。
the superior F-ratios of information-weighted counts and the comparable correlations

计算工具 [link] [使用介绍]

BLEU 最近的相关讨论 (2019.0515)

Blend: a Novel Combined MT Metric Based on Direct Assessment - CASICT-DCU submission to WMT17 Metrics Task | Qingsong, WMT’2017

BLEU is Not Suitable for the Evaluation of Text Simplification | EMNLP 2018 (Short papers)

Metric for Automatic Machine Translation Evaluation based on Universal Sentence Representations | NAACL 2018 Student Research Workshop

Metric for Automatic Machine Translation Evaluation based on Universal Sentence Representations | Hiroki, NAACL-HLT’2018

RUSE: Regressor Using Sentence Embeddings for Automatic Machine Translation Evaluation | Hiroki, WMT’2018

BERTScore: Evaluating Text Generation with BERT | Tianyi Zhang, github, 2019

参考资料

• 《统计自然语言处理》宗成庆
• wiki BLEU
• Overview of BLEU | Arthur Chan
• 机器翻译质量评测算法-BLEU | IT_xiao小巫
• 浅谈用Python计算文本BLEU分数 | 腾讯云社区
• 机器翻译评价指标之BLEU详细计算过程 * | 加勒比海鲜 | nltk.align.bleu_score
• 机器翻译自动评估-BLEU算法详解 | Big_Din
• 论文阅读：《BLEU: a Method for Automatic Evaluation of Machine Translation》 | 卓寿杰_SoulJoy

---

修养 修行 涵养