双线性池化(Bilinear Pooling)

bilinear pooling主要用于特征融合,对于从同一个样本提取出来的特征x和特征y,通过bilinear pooling得到两个特征融合后的向量,进而用来分类。

如果特征x和特征y来自两个特征提取器,则被称为多模双线性池化(MBP,Multimodal Bilinear Pooling);
如果特征x=特征y,则被称为同源双线性池化(HBP,Homogeneous Bilinear Pooling)或者二阶池化(Second-order Pooling)。

原始的Bilinear Pooling存在融合后的特征维数过高的问题,融合后的特征维数=特征x和特征y的维数之积。原作者尝试了PCA降维,但效果并不理想。

(1)双线性池化及其变体

  • Bilinear CNN Models for Fine-grained Visual Recognition(2015)
    双线性池化(Bilinear Pooling)_第1张图片
  • CBP: Compact Bilinear Pooling
  • MCBP: Multimodal Compact Bilinear Pooling
  • LRBP:Low-rank Bilinear Pooling
  • Grassmann Pooling

(2)从bilinear pooling到billinear model

《Factorized bilinear models for image recognition》是ICCV2017的文章,虽然本文也是针对HBP的研究,但成功地把bilinear model与bilinear pooling联系起来。

  • MLB:Multimodal Low-rank Bilinear Pooling
  • MFB:Multi-modal factorized bilinear pooling

参考资料:
双线性池化(Bilinear Pooling)详解、改进及应用

你可能感兴趣的:(深度学习,人工智能,python)