论文阅读训练（14）

《Local Relation Networks for Image Recognition》（CVPR2019）

图像识别的局部关系网络

作者：胡瀚等

摘要

卷积层是CV中主要的特征提取工具，然而卷积上的空间聚合是利用固定卷积的基础模板匹配过程，对于建模不同空间分布的视觉元素是非常低效的。这篇文章提出一个新的图像特征提取工具，称为局部关联层（local relation layer），它基于局部像素对的组成关系自适应确定聚合权重。这个关系方法，可以组合视觉元素为更高high-level特征，以一种更有效的方式受益于语义推断。建立在局部关系层上的网络称为LR-Net，可以证明提高了建模性能比规则卷积。

问题：规则卷积在建模不同空间分布的视觉元素有限制。

方法：提出规则卷积替代层——局部关系层，基于局部像素对的组成关系自适应确定聚合权重。特征提取新工具，可以理解为新的特征提取，新的特征设计。

 

效果：大尺度识别任务，在ImageNet上比规则卷积提高了建模性能。

相关工作：

1、卷积的扩展

（1）限制聚合input channels的范围实现accuracy-efficiency的平衡

           例：分组卷积、depthwise卷积

（2）修改聚合的spatial范围

           例：atrous/dilated卷积

（3）加强几何信息建模

           例：active和变形卷积

卷积是一种top-down方式，在感受野范围内基于image appearanc或空间位置来确定卷积行为。

 局部关系层是一种bottom-up方式，基于像素对的组合性，对空间位置有更有效的编码。

2、胶囊网络

基于像素对的组合性的bottom-up方式，通过一个迭代过程计算组合性。

细节

局部关系层受关系建模影响，组合性由两个像素的特征映射到一个学习到的嵌入空间的相似度决定，这个嵌入可以理解为几何先验。

自己的思考：

卷积学习每个特征的相对空间位置，关系层把这种相对空间位置泛化成一个表示，或者说学习的是空间相对位置的一种表示关系，而不是具体的相对位置。

《Non-local Neural Networks》（cvpr2018）

作者：王小龙（CMU）等

摘要

卷积和循环操作建立的blocks处理局部邻域信息。这篇文章中，提出非局部操作作为捕捉long-range dependencies（长范围依赖）的通用系列构建块。受启发于non-local means方法，局部操作计算一个位置的响应作为所有位置上特征的权重和。这个block可以插入到许多CV结构中。视频分类任务中，even without any bells and whistles，non-local model可以完成或表现更好比当前方法在Kinetics and Charades datasets。静态图像识别中，在COCO上提高了检测、分割、姿态估计精确度。代码没开源。

问题：卷积和循环处理局部信息

方法：提出处理non-local block捕捉long-range dependencies，局部操作计算一个位置的响应作为所有位置上特征的权重和。

效果：视频分类任务中，even without any bells and whistles，non-local model可以完成或表现更好比当前方法在Kinetics and Charades datasets。静态图像识别中，在COCO上提高了检测、分割、姿态估计精确度。

 

对于图像数据，长距离依赖用卷积堆叠增大感受野来建模。卷积和循环在空间和时间上处理的是局部领域信息，因此长距离依赖只能通过重复操作捕捉，通过数据逐步传播信号。

重复操作缺点：计算效率低；优化困难；远程传递信息困难。