WACV 2021 论文大盘点-视频理解篇
本文总结视频相关技术论文，包含视频理解、摘要、分类。
共计 4 篇，如有遗漏，欢迎补充。
下载包含这些论文的 WACV 2021 所有论文，请点击：
『WACV 2021 开幕，更偏重技术应用，附论文下载』
视频分类
VideoSSL: Semi-Supervised Learning for Video Classification
本次工作中，作者提出使用卷积神经网络（CNN）进行视频分类的半监督学习方法：VideoSSL。与其他 CV 任务一样，现有的监督视频分类方法需要大量的标注数据来获得良好的性能。但对大量数据集进行标注是昂贵和耗时的。
为最大限度地减少对大型标注数据集的依赖，作者提出的半监督方法从少量的标注实例中进行训练，并利用来自未标注数据的两个监管信号。
第一个信号是由正在训练的 CNN 的机密性计算出的未标记例子的伪标签。另一个是由图像分类器 CNN 预测的归一化概率，可捕捉到视频中感有趣目标的出现信息。
在这些来自未标记示例的指导信号的监督下，视频分类 CNN 可以在三个公开可用的数据集（UCF101，HMDB51 和 Kinetics）上利用小部分的标注示例实现不错的性能。。
作者 | Longlong Jing, Toufiq Parag, Zhe Wu, Yingli Tian, Hongcheng Wang
单位 | 纽约市立大学；Comcast Applied AI Research
论文 | https://arxiv.org/abs/2003.00197
视频摘要
Weakly Supervised Deep Reinforcement Learning for Video Summarization With Semantically Meaningful Reward
针对视频摘要任务，作者提出弱监督强化学习方法。由两个子网络组成，视频分类子网络（VCSN）和摘要生成子网络（SGSN），其中前一个子网络起监督作用，指导后一个子网络的学习。结果显明所提出方法超越了其他无监督甚至监督的方法。作者该方法在相关系数、Kendall's τ 和 Spearman's ρ 方面达到了最先进的性能。
作者 | Zutong Li, Lei Yang
单位 | Weibo R&D Limited（微博）
论文 |
https://openaccess.thecvf.com/content/WACV2021/papers/Li_Weakly_Supervised_Deep_Reinforcement_Learning_for_Video_Summarization_With_Semantically_WACV_2021_paper.pdf
视频
视频场景理解
S3-Net: A Fast and Lightweight Video Scene Understanding Network by Single-shot Segmentation
视频中的实时理解在自动驾驶等各种人工智能应用中至关重要。本工作提出用于视频场景理解的快速单样本分割方法。所提出的网络被称为 S3-Net，可以快速定位和分割目标子场景，同时提取结构化的时间序列语义特征作为基于LSTM 的时空模型的输入。利用张量化和量化技术，S3-Net 旨在为边缘提供轻量级计算。
使用 CityScapes、UCF11、HMDB51 和 MOMENTS 数据集进行实验验证，S3-Net 与 UCF11上 基于 3D-CNN 的方法相比，准确率提高了 8.1%，存储量减少了 6.9 倍，在使用 GTX1080Ti GPU 的 CityScapes 上的推理速度达到了 22.8 FPS。
作者 | Yuan Cheng, Yuchao Yang, Hai-Bao Chen, Ngai Wong, Hao Yu
单位 | 上海交通大学；南方科技大学；香港大学
论文 | https://arxiv.org/abs/2011.02265
视频理解
Towards Visually Explaining Video Understanding Networks with Perturbation
先是引入 perturbation-based 方法来解释视频理解网络，可以很容易地利用在任何多样化和复杂的视频理解网络上。再引入一个新的损失函数，来规范化由 perturbation-based 方法得出的视觉解释结果的时空平滑度。
结果验证得出所提出方法结合损失函数，可以在多个数据集上获得有竞争力的性能。
作者 | Zhenqiang Li, Weimin Wang, Zuoyue Li, Yifei Huang, Yoichi Sato
单位 | 东京大学；日本国立研究机构“产业技术综合研究所；苏黎世联邦理工学院
论文 | https://arxiv.org/abs/2005.00375
【推荐阅读】
WACV 2021 论文大盘点-人体动作检测与识别篇
WACV 2021 论文大盘点-图像质量篇
WACV 2021 论文大盘点-智能驾驶篇
WACV 2021 论文大盘点-图像与视频检索篇
WACV 2021 论文大盘点-姿态估计篇
WACV 2021 论文大盘点-目标跟踪篇
WACV 2021 论文大盘点-GAN篇
WACV 2021 论文大盘点-行人监控篇
WACV 2021 论文大盘点-图像分割篇
WACV 2021 论文大盘点-目标检测篇
WACV 2021 论文大盘点-人脸技术篇
- END -
编辑：CV君
转载请联系本公众号授权
备注：视频
视频理解交流群
视频理解、分类、摘要技术信息，
若已为CV君其他账号好友请直接私信。
OpenCV中文网
微信号 : iopencv
QQ群：805388940
微博/知乎：@我爱计算机视觉
网站：www.52cv.net
在看，让更多人看到 