Image Captioning Metrics —— CIDEr的计算

简介

1. TF-IDF
2. 余弦相似性
3. CIDEr算法
   CIDEr: Consensus-based Image Description Evaluation
4. Examples
5. Code
   released code of my github CaptionMetrics

TF-IDF

全称Term Frequency–Inverse Document Frequency，TF词频，IDF逆文本频率。
博客：
文本挖掘预处理之TF-IDF

余弦相似性

余弦相似性–维基百科

CIDEr算法

1. 定义
   待测数据集规模为 $N$.
   候选集(Candidates) $C=\{c_1,c_2,...,c_N\}$.
   参照集(References) $S_i=\{s_{i1},s_{i2},...,s_{iM}\}$，其中$M$表示参照集句子数量, $i$表示第$i$个图像.

2. TF-IDF
   下面对候选集$c_i$计算其$n-gram$ 的TF-IDF weight.
   $$g_k(c_i)=TF(k)\ast IDF(k)$$
   $$TF(k)=\frac{h_k(c_i)}{\sum h_l(c_i)}$$
   $$IDF(k)=log(\frac{N}{{\sum }_1^{N}min(1,{\sum }_1^M{h}_k(c_i)})$$
   e.g.
   $g_k(c_i)$表示n-gram ${\omega }_k$ 的TF-IDF weight.
   $h_k(c_i)$表示n-gram ${\omega }_k$ 在句子$c_i$中出现的次数.
   $\sum h_l(c_i)$表示在数据集上所有的n-gram ${\omega }_l$ 在句子$c_i$中出现次数之和.
   ${\sum }_1^{N}min(1,{\sum }_1^M{h}_k(c_i)$表示n-gram ${\omega }_k$ 在数据集文本中总共出现的次数.最小值是1，最大值是N.

3. CIDEr
   n = 1, 2, 3, 4对应n-gram的n，如1-gram，2-gram，3-gram，4-gram.
   $$CIDE{r}_n(c_i,s_i)=\frac{1}{M}\ast \sum _{j=1}^M\frac{g^n(c_i)\ast g^n(s_{ij})}{||g^n(c_i)||\ast ||g^n(s_{ij})||}$$
   e.g.
   $g^n(c_i)$表示在句子$c_i$的所有n-gram ${\omega }_k$ 的TF-IDF weight 向量.

Examples

候选集$c_1$ = {我 吃 饭 了 吗}，参照集$S_{11}$ = {他 早 上 吃 饭 了}，以1-gram举例，数据集数量N=1，每个参照集句子数量M=1.

n-gram ${\omega }_k$	$g_k(c_1)$	$g_k(s_{11})$
吃	0.2	0.16
饭	0.2	0.16
了	0.2	0.16
吗	0.2	0
我	0.2	0
他	0	0.16
早	0	0.16
上	0	0.16

e.g.
$CIDE{r}_1=\frac{[0.2,0.2,0.2,0.2,0.2,0,0,0{]}_{1\ast n}^T\ast [0.16,0.16,0.16,0,0,0.16,0.16,0.16{]}_{n\ast 1}}{\sqrt{0.2^2+0.2^2+0.2^2+0.2^2+0.2^2+0^2+0^2+0^2}\ast \sqrt{0.16^2+0.16^2+0.16^2+0^2+0^2+0.16^2+0.16^2+0.16^2}}=0.5477$
注意，因为$N=1$所以，理论上每个n-gram的$IDF(k)=0$，但是为了避免这种情况，令$IDF(k)=1$.

Code

code放在了我的github上CaptionMetrics，参照coco release的metrics.