图像中文描述

图像中文描述

用一句话描述给定图像中的主要信息，挑战中文语境下的图像理解问题。尝试自然语言处理与计算机视觉技术结合的力量

https://challenger.ai/competition/caption/subject

图像中文描述问题融合了计算机视觉与自然语言处理两个方向，是用人工智能算法解决多模式、跨领域问题的典型代表。参赛者需要对给定的每一张测试图片输出一句话的描述。描述句子要求符合自然语言习惯，点明图像中的重要信息，涵盖主要人物、场景、动作等内容。此次发布的图像描述数据集以中文描述语句为主，与同类科研任务常见的英文数据集相比，中文描述通常在句法、词法上灵活度较大，算法实现的挑战也较大。组委会将通过客观指标$$（BLEU,METEOR,ROUG{E}_L和CIDEr）$$和主观评价$$（Coherence,Relevance,HelpfulforBlind）$$，并结合答辩表现，对参赛队伍进行评价。

数据说明

数据形式包含图像和对应5句中文描述，以下图为例。

中文描述

1）蓝天下一个穿灰色T恤帅小伙以潇洒的姿势上篮

2）蔚蓝的天空下一位英姿飒爽的男孩在上篮

3）蓝天下一个腾空跃起的男人正在奋力地灌篮

4）一个穿着灰色运动装的男生在晴朗的天空下打篮球

5）一个短头发的男孩在篮球场上腾空跃起

结果提交说明

选手提交的预测结果需要对每一张图片输出一句预测的中文描述语句，提交的预测文件格式存储为JSON，按照以下格式进行提交:

[
    {
        "image_id":"d9a9a8cfb9fdebe3f4f6996756ae23ae0e473d0c",
        "caption": "蓝天下一个男孩在投篮"
    },
    {
        "image_id":"a0f6bdc065a602b7b84a67fb8d14ce403d902e0d",
        "caption": "一个小男孩在安静的小河边钓鱼"
    },
    ...
]
    

评价标准

本赛道采用客观和主观相结合的评价标准，和答辩环节得分的总和 (根据主客观得分优秀者进入答辩环节）。

客观评价总览

客观的评价标准包括：BLEU,METEOR,ROUGEL,CIDEr。根据这四个评价标准得到一个客观评价的得分。^[1]

$$\begin{array}{c}{S}_{m_1}\left(\text{team}\right)=\frac{1}{4}S\left(\text{team@}BLEU\text{@4}\right)+\frac{1}{4}S\left(\text{team@}METEOR\right)+\\ \frac{1}{4}S\left(\text{team@}ROUG{E}_L\right)+\frac{1}{4}S\left(\text{team@}CIDE{r}_D\right)\end{array}$$

其中的S(team)@METEOR表示在METEOR标准下进行标准化后的得分，Sm1(team)表示客观评价分数的加权平均值，然后对分数Sm1(team)进行标准化处理得到的客观评价分数。

我们将提供验证脚本，帮助选手在线下测试模型效果。测试脚本、以及详细使用方法，将与验证数据集同时发布。

提示：图像中文描述比赛评测过程使用jieba 0.38进行中文分词。

主观评价总览

主观的评价包括：

对测试结果中的子集由评委团进行主观评价，对每个代表队的候选句子进行打分（1-5），分数越高越好。打分遵循三个原则。

流畅度(Coherence)：评价生成语句的逻辑和可读性。

相关性(Relevance)：评价生成语句是否包含对应的图像中有的重要的物体/动作/事件等。

助盲性(Help_For_Blind)：评价生成语句对一个有视力缺陷的人去理解图像有帮助的程度。

得到主观评价排名m2，公式如下:

$$\begin{array}{c}{S}_{m_2}\left(\text{team}\right)=\frac{1}{3}S\left(\text{team@Coherence}\right)+\\ \frac{1}{3}S\left(\text{team@Relevance}\right)+\frac{1}{3}S\left(\text{team@Helpful\_for\_Blind}\right)\end{array}$$

其中$$S\left(team\right)@Coherence$$表示在$$Coherence$$上进行标准化后的分数。

综合主观和客观评价

综合主客观评价排名选出优秀的团队参加最终的答辩

$$S_{m_1{m}_2}\left(\text{team}\right)=S_{m_1}\left(\text{team}\right)+S_{m_2}\left(\text{team}\right)$$

对$$S_{m_1{m}_2}$$分数进行从高到低排序，优选出若干只队伍进入答辩环节。

答辩分数

我们根据主客观的排名情况，选择若干只优秀的队伍进入最终答辩环节，$$S_{m_3}\left(team\right)$$为答辩评分标准化后的分数。

$$S_{m_3}\left(\text{team}\right)$$ is the presentation performance score. Similarly $$S_{m_3}\left(\text{team}\right)$$ needs to be normalized.

最终得分

$$S_{m_1{m}_2{m}_3}\left(\text{team}\right)=S_{m_1}\left(\text{team}\right)+S_{m_2}\left(\text{team}\right)+S_{m_3}\left(\text{team}\right)$$

其中$$S_{m_1{m}_2{m}_3}\left(team\right)$$为综合客观指标、主观指标与答辩得分的最终分数，权重待定。本次比赛将根据三项加权的最终分数从高到低进行排名。

详细客观评价方法

本次图像描述比赛客观评价采用四种常用评价标准：$$BLEU$$, $$METEOR$$, $$ROUGE$$和 $$CIDEr$$。

$$BLEU$$ (Bilingual Evaluation Understudy)

$$BLEU$$是一种通过计算候选译文和参考译文中$$n$$元词共同出现的程度，来衡量候选句子与参考句子相似度的机器翻译度量方法。计算公式如下:

$$BLE{U}_N(C,S)=b(C,S)\exp \left(\sum _{n=1}^N{\omega }_n\log C{P}_n(C,S)\right)$$

$$C{P}_n(C,S)=\frac{\sum {}_i\sum {}_{k}min\left(h_k\right(c_i),{max}_{j\in m}{h}_k(s_{ij}\left)\right)}{{\sum }_i{\sum }_k{h}_k\left(c_i\right)}$$

$$b(C,S)=\{\begin{array}{cc}1& \text{if}{l}_C>l_S\\ e^{1-l_S/l_C}& \text{if}{l}_C\le l_S\end{array}$$

其中候选语句(待评测语句)可以表示为$$C$$，而对应的一组参考语句为$$S_i=\left\{s_{i1},s_{i2},\cdots \right\}\in S$$。n-gram表示$$n$$元词，令$${\omega }_k$$ 表示第k组的n-gram。$$h_k\left(c_i\right)$$表示$${\omega }_k$$在候选语句中$$c_i$$的出现次数，$$h_k\left(s_{ij}\right)$$表示的是$${\omega }_k$$在参考语句$$s_{ij}$$中的出现的次数，其中$$C{P}_n(C,S)$$是一个精确度度量。前面的$$b(C,S)$$是$$BLE{U}_N$$的BP惩罚因子。

其中$$l_c$$表示候选语句$$c_i$$的长度，$$l_s$$表示参考语句$$s_{ij}$$的有效长度。

$$ROUG{E}_L$$

$$ROUGE$$是用来评价文本摘要算法的自动评价标准集，本次图像中文描述比赛主要采用其中的$$ROUG{E}_L$$作为评价标准。

$$ROUG{E}_L$$是基于LCS（Longest Common Subsequence）的一种测量方法。LCS是序列$$X$$和序列$$Y$$的最大长度公共子序列的统称。$$c_i$$表示的待评价语句，$$s_{ij}$$表示参考语句。

$$ROUG{E}_L(c_i,S_i)=\frac{(1+{\beta }^2)R_l{P}_l}{R_l+{\beta }^2{P}_l}$$

其中$$R_l$$和$$P_l$$的定义是:

$$R_l=\underset{j}{max}\frac{l(c_i,s_{ij})}{|s_{ij}|}$$

$$P_l=\underset{j}{max}\frac{l(c_i,s_{ij})}{|c_i|}$$

其中$$\beta =\frac{R_l}{P_l}$$。

$$METEOR$$

$$METEOR$$是用来评价机器翻译输出的标准。该方法将候选语句和参考语句的词进行逐一匹配，METEOR需要预先给定一组类似于WordNet的同义词库，通过最小化对应语句中连续有序的块来得出。METEOR的计算为对应候选语句和参考语句之间的准确率和召回率的调和平均。METEOR的计算公式：

$$METEOR=(1-Pen)F_{mean}$$

$$Pen=\gamma {\left(\frac{ch}{m}\right)}^{\theta }$$

其中 $$Pen$$ 的定义是：

$$Pen=\gamma {\left(\frac{ch}{m}\right)}^{\theta }$$

其中$$F_{mean}$$的定义是：

$$F_{mean}=\frac{P_m{R}_m}{\alpha P_m+(1-\alpha )R_m}$$

其中$$P_m$$的定义是：

$$P_m=\frac{|m|}{{\sum }_k{h}_k\left(c_i\right)}$$

其中$$R_m$$的定义是：

$$R_m=\frac{|m|}{{\sum }_k{h}_k\left(s_{ij}\right)}$$

其中，$$\alpha$$、$$\gamma$$和$$\theta$$均为评价的默认参数，m是基于类似于WordNet中文同义词库校准的同义词库。$$F_{mean}$$是上文所说的LCS两个句子的相似性。

$$CIDEr$$ (Consensus-based Image Description Evaluation)

$$CIDEr$$通过对每个n元组进行Term Frequency Inverse Document Frequency (TF-IDF) 权重计算，来衡量图像描述的一致性。

$$CIDEr\left(c_i,S_i\right)=\sum _{n=1}^N{\omega }_{n}CIDE{r}_n\left(c_i,S_i\right)$$

其中的$$CIDE{r}_n\left(c_i,S_i\right)$$的定义是:

$$CIDE{r}_n\left(c_i,S_i\right)=\frac{1}{m}\sum _j\frac{g^n\left(c_i\right)\cdot g^n\left(s_{ij}\right)}{\parallel g^n\left(c_i\right){\parallel }_2\cdot \parallel g^n\left(s_{ij}\right){\parallel }_2}$$

$$g_k\left(s_{ij}\right)=\frac{h_k\left(s_{ij}\right)}{{\sum }_{{\omega }_l\in \Omega }{h}_l\left(s_{ij}\right)}\log \left(\frac{|I|}{{\sum }_{I_p\in I}min(1,{\sum }_q{h}_k(s_{pq}\left)\right)}\right)$$

其中$$I$$表示所有图片的集合，$$\Omega$$表示的是n-grams的词表，$$g^n\left(c_{ij}\right)$$和$$g^n\left(s_{ij}\right)$$ 是TF-IDF的向量，其他符号在$$BLEU$$处有定义。

分数标准化方式

由于每个指标的范围与分布都不尽相同，所以在计算加权平均值之前，我们需要将所有分数进行标准化处理。具体的标准化公式为：

$$\tilde{x}=\frac{x}{\hat{\sigma }}$$

其中$x$为选手在该项评价指标所得的绝对分数，$\tilde{x}$为标准化后的相对分数，$\hat{\sigma }$是该项评价指标上所有选手的绝对分数的标准差。

$$\hat{\mu }=\sum _{i=1}^N{x}_i/N$$

$${\hat{\sigma }}^2=\sum _{i=1}^N{\left(x_i-\hat{\mu }\right)}^2/(N-1)$$

其中$\hat{\mu }$是该项评价指标上所有选手的绝对分数的均值。

[1] Lin, Tsung-Yi and Maire, Michael and Belongie, Serge and Hays, James and Perona, Pietro and Ramanan, Deva and Dollar, Piotr and Zitnick, C Lawrence, "Microsoft coco: Common objects in context" in European conference on computer vision, 740-755, Springer, 2014.↩