I3D模型_2017_CVPR

作者的观点:

若在足够大的视频动作识别数据集上训练(Kinetics),是否能提升模型在其他数据集(HMDB-51,UCF-101)上的表现呢?

 

论文核心内容:

  1. 对于不同模型,这种方法(见观点)提升性能程度相差很大,于是提出 Two-Stream Inflated 3D ConvNet ( I3D ) 模型
  2. 实验分析,现有最好的动作识别方法在数据集Kinetics上的表现,其次是在对Kinetics进行预训练之后,对较小的基准数据集的性能有多大提高。
  3. I3D模型之所以会有如此好的表现,是因为该模型具有很高的时间分辨率。即输入的训练帧数多。(它们以每秒25帧的速度训练64帧视频片段,并在测试时处理所有视频帧,这使得它们可以捕获细粒度的时间动作结构。)

 

 

论文主要贡献:

  1. 提出一种新模型I3D,基于2D卷积网络的增强版。
  2. 在视频动作识别数据集上训练(Kinetics),获得的网络可以提升模型在其他数据集(HMDB-51,UCF-101)上的表现。

 

 

展望/待解决问题:

  1. 对于其他视频任务(例如语义视频分割,视频对象检测或光流计算)使用Kinetics预训练是否有益仍有待观察。【研究点!!!】
  2. 作为未来的工作,我们计划使用Kinetics而不是miniKinetics重复所有实验,使用和不使用ImageNet预训练,并探索inflat其他的2D ConvNets

 

 

1.Introduction

I3D:以最新的图片分类模型为基础结构,将kernels膨胀(inflate)结合到3D Conv。基于2D卷积网络的增强版。将非常深图片的卷积分类的卷积核与池化核扩展为3D,使得可以从视频中学习无缝的时空特征提取器,同时利用成功的ImageNet架构设计甚至其参数。

 

 

2 Action Classification Architectures

2.2 The Old II: 3D ConvNets

在这篇文章中,作者提出一种C3D的变体,它包括8个卷积层,5个池化层和两个全连接层。输入是从视频中截取的大小为112*112共16帧的片段。使用批正则化(batch normalization)的方法。不同于C3D,该方法在第一个池化层使用的temporal strde为2而不是1,这种改进减少内存占用并允许更大批量。

 

2.3. The Old III: Two-Stream Networks

       I3D模型也参考了Two-Stream,还结合了 Inception-V1,网络的输入为相隔10帧的5个连续RGB帧,以及相应的光流片段。在Inception-V1的最后一个平均合并层(5×7×7特征网格,对应于时间,x和y维度)之前的空间和运动特征通过具有512个输出通道的3×3×3 3D卷积层, 然后是3×3×3 3D最大池层并通过最终的完全连接层。

I3D模型_2017_CVPR_第1张图片

 

 

2.4 The New : Two-Stream Inflated 3D ConvNet

3D ConvNets能直接从RGB流中学习时域信息模式,当再加上输入光流,这个性能将进一步提升。

 

Inflating 2D ConvNets into 3D

简单的将成功的2D分类器扩展为3D卷积。卷积层(N*N)和池化层(N*N)都增加一个时间维度(N*N*N)。

 

Bootstrapping 3D filters from 2D Filters

3D卷积核的参数可以通过ImageNet模型学习,通过将ImageNet上的2D图片重复叠加成一个连续的视频。

 

 

Pacing receptive field growth in space, time and network depth

这个boring video fixed-point使得调整网络变得相当灵活,可以根据时间维度膨胀池化层操作,也可以设置卷积层或池化层的temporal stride。

 

Two 3D Streams

虽然I3D网络能直接从RGB输入中学习运动特征,但它始终只是执行前馈计算,而光流算法在某种意义上是周期性的计算。所以实验设计,分别在RGB和光流两种输入上训练I3D,最后作平均再预测。

I3D模型_2017_CVPR_第2张图片

 

 

2.5 Implementation Details

除了C3D模型之外,所有模型都使用ImageNet预训练Inception-V1的到基础网络。除了最后一层卷积层外(需计算出全连接层得到分类结果),在模型中的其它卷积层后,紧跟着batch normalization(批处理)和 ReLU激活函数。

 

3.The Kinetics Human Action Video Dateset

大致介绍Kinetics数据集,本文并没有使用完整的Kinetics进行训练。而是使用其中数据集的小一部分(miniKinetics)。

 

 

 

4.Experimental Comparison of Architectures

实验比较第二部分中的几种结构在不同数据集下的表现。

I3D模型_2017_CVPR_第3张图片

 

实验得到几个很有价值的信息:

  1. 在ImageNet上进行模型预训练,同样会对3D ConvNets有帮助。(在别的视频处理应用中,能否用得上??)
  2. 实际探究Kinetics数据集发现,其中视频具有更多的摄像机运动,这可能Flow的工作更加困难。所以在miniKinetics上的Flow精度低于RGB精度。

I3D模型_2017_CVPR_第4张图片

从上图可看出,I3D模型比其他模型在对Flow输入处理时更有优势。(可能是I3D有longer temporal receptive 和更集成的时间特征提取机制)

 

  作者认为,RGB流具有更多的辨别力,相反却很难用自己的眼睛从Flow流(Kinetics数据集)中辨别视频中的动作。这也许是未来研究的一个方向——整合某种形式的运动稳定到这些架构中。

 

 

 

5. Experimental Evaluation of Features

  这部分主要内容是,研究Kenetics上训练的网络的泛化能力。

文中设计了两种方法:

(这两种方法的网络都在Kenetics上预训练)

  1. 通过固定网络的权重,使用网络模型处理UCF-101/HMDB-51数据集,得到结果①。接下来使用UCF-101/HMDB-51的训练集训练网络模型的multi-way soft-max 分类器,然后在测试集上验证。
  2. 用UCF-101/HMDB-51 微调网络,然后在测试集上评估性能。

I3D模型_2017_CVPR_第5张图片

 

以上模型中,除了3D-ConvNet之外,都是基于Inception-v1模块,而且在ImageNet上预训练。

Original:在当前数据上训练,再进行验证。

Full-FT:在miniKinetics上预训练,再在各自处理的数据集上微调。

 

在mini-Kenetics(固定)预训练后训练模型的最后几层也比直接训练UCF-101和HMDB-51的I3D模型具有更好的性能。

 

5.1 Comparison with the State-of-the-Art

在UCF-101和HMDB-51上,比较I3D与现有最好的模型的性能,

 

 

6.Discussion

本文证明在视频处理方面也能像图片处理一样,进行迁移学习。即在更大的数据集(Kenetics)上预训练,然后提高网络在其他数据集(UFC-101/HMDB-51)上识别性能。对于其他视频任务(例如语义视频分割,视频对象检测或光流计算)使用Kinetics预训练是否有益仍有待观察。【研究点!!!】

作为未来的工作,我们计划使用Kinetics而不是miniKinetics重复所有实验,使用和不使用ImageNet预训练,并探索膨胀其他状态的2D ConvNets

 

【论文笔记下载地址】

链接: https://pan.baidu.com/s/1sU4lr8mjCCh2llR263_YgQ

提取码: 64mq

 

你可能感兴趣的:(论文总结,视频处理,I3D)