Fisher Vector的改进

     《Fisher vector学习笔记》中介绍了fisher vector相关知识，本文接着这片学习笔记，来记录论文《Improving the Fisher Kernel for Large-Scale Image Classification》中第三部分提出的对fisher vector的3种改进。

1，L2 Normalization
     首先假设一幅图像的特征们 X=xt,t=1...T 服从一个分布p，对于Large-Scale image，根据大数定律，样本数T增大时，样本均值收敛于样本期望 Ex−p ，所以可将(1)式的fisher vector写成(2)式：

GXλ=1T∑t=1T∇λloguλ(xt).(1)

GXλ≈∇λEx−ploguλ(x)=∇λ∫xp(x)loguλ(x)dx.(2)

现在假设能把p分解成两部分：
属于图像背景的部分(a back-ground image-independent part) ,这部分样本服从分布 uλ ;
属于图像特征的部分(an image-specific part),这部分样本服从分布q.
定义 0<=w<=1 是image-specific信息在图像中所占的比率，则有：

p(x)=wq(x)+(1−w)uλ(x).(3)

则(2)式可以写成：

GXλ≈w∇λ∫xq(x)loguλ(x)dx+(1−w)∇λ∫xuλ(x)loguλ(x)dx.(4)

     参数 λ 是在GMM建模时通过解最大似然问题得到的，也就是说，这个 λ 使得：

∇λ∫xuλ(x)loguλ(x)dx=∇λEx−uλloguλ(x)≈0.(5)

所以(4)式为：

GXλ≈w∇λ∫xq(x)loguλ(x)dx=w∇λEx−qloguλ(x).(6)

从(6)式可以看出：
     独立于图像的信息(image-independent information)在fisher vector的表示中被丢弃掉了；
     fisher vector的表示仍然与image-specific信息所占比率w有关。
     总结来说就是，两个包含相同目标(object)，但有不同背景的图，会有不同的fisher vector表示。

     但是对于较小的object有较小的w值，这样的object在fisher vector表示中容易被忽略。所以要消除对w值的依赖。

     要消除对w值的依赖，可以对fisher vector GXλ 做L2 normalization，也就等价于把原来的核函数 K(X,Y) 替换为

K(X,Y)K(X,X)K(Y,Y)‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√

2，Power Normalization
     这种改进方法来自观察得到的经验：GMM中的Gaussian component数目增加时，Fisher vector会变得稀疏。这是因为component增加时，样本 xt 由component i生成的概率 γt(i) 会变小，当这个概率接近0时， Xμ,i,Xσ,i 也接近null。


     此时，特征在一个维度上的值的分布变得更尖锐，如下图。图(a)(b)(c)是没有做power normalization时，GMM component数为16、64、256的情况。图(d)是有256 Gaussian，且做了power normalization（ α =0.5）的情况。

      α 是optimal value，随Gaussian的数目变化而变化，这里作者是通过实验得到0.5这个值。
     这里说的power normalization就是对每一维应用如下函数：

f(z)=sign(z)|z|α

     因为注意到L2 normalized vector的内积就是L2 距离，而对于稀疏向量(就是power normalize之前的fisher vector)相似性(similarity)的度量，L2距离是一种poor measure，所以用来做分类效果不好。所以要unsparsify，也就是应用上式。

     如果要对fisher vector做L2 normalization和power normalization，可先做power后再做L2，后做L2照样是会消除对w值的依赖。

3，Spatial Pyramids
     首先把原图多次划分，得到多个子区域，然后对每个子区域提取fisher vector，再对这些fisher vector做average pooling。论文中是有8个子区域，得到8个fisher vector，对于整幅图提取一个fisher vector, 然后将图划分为上中下3部分，这3个子区域各提取一个fisher vector，然后将原图划分为4个象限，每个象限计算一个fisher vector。这8个fisher vector都可以通过L2 normalization来消除对w值的依赖。