阅读笔记 | High Speed and High Dynamic Range Video with an Event Camera

论文:High Speed and High Dynamic Range Video with an Event Camera
代码:code

前言:这篇文章很久之前看过了,现在重温一遍,网不好一直不好预训练模型和数据集下不下来,于是跳过代码部分,就浅浅谈一下感受吧。

文章的主要目的:从事件流中重建图像
这么做的好处有:

  • 高帧频记录更多的细节
  • HDR防昏暗或曝光
  • 低功耗(这里是我觉得的事件相机的一个优势,但在文章中没有怎么体现)

文章的一个大致介绍背景如图所示
阅读笔记 | High Speed and High Dynamic Range Video with an Event Camera_第1张图片
文章的贡献点:

  • 提出一种新型的循环网络来重建视频,效果很好
  • 训练出了一个模型可以用于真实事件的图像重建/视频重建
  • 定性的结果表示我们的模型可以用于高帧率视频合成、高动态范围视频重建、彩色视频重建。
  • 用时间合成的视频可以直接用于下游任务,目标分类和视觉惯性测程法,优于目前直接用事件处理的方法

网络架构图如下
阅读笔记 | High Speed and High Dynamic Range Video with an Event Camera_第2张图片
损失函数:
感知损失+光流的约束
LPIPS+阅读笔记 | High Speed and High Dynamic Range Video with an Event Camera_第3张图片

你可能感兴趣的:(机器学习,人工智能,深度学习,计算机视觉)