计算机视觉基础(6)——光流估计

前言

本章我们来学习一下图像处理基础中的运动估计。主要内容包括运动场估计和光流估计两个部分。在运动场估计中,我们将学习到运动场、光流、光流和运动场的区别;在光流估计中,我们将学习到光流估计任务、孔径问题,以及光流估计两种方法——Lucas Knade方法和深度学习方法

一、运动估计

运动估计常用于目标跟踪和分割事件和活动识别以及自动驾驶预测等。

计算机视觉基础(6)——光流估计_第1张图片

1.1  运动场

定义:三维相对速度矢量在二维图像平面上的投影

计算机视觉基础(6)——光流估计_第2张图片

计算机视觉基础(6)——光流估计_第3张图片

1.2  光流

定义:图像中亮度模式产生的运动

计算机视觉基础(6)——光流估计_第4张图片

1.3  运动场和光流的比较

  • 理想情况下,运动场和光流是相等的;
  • 但是也会有物体运动场和图像光流不相等的时候。

【例子】

计算机视觉基础(6)——光流估计_第5张图片

计算机视觉基础(6)——光流估计_第6张图片

计算机视觉基础(6)——光流估计_第7张图片

二、光流估计

【举例说明】

计算机视觉基础(6)——光流估计_第8张图片

计算机视觉基础(6)——光流估计_第9张图片

光流估计任务定义: 给定两个连续的帧,计算对应点之间的位移

计算机视觉基础(6)——光流估计_第10张图片

【光流平滑性约束】

计算机视觉基础(6)——光流估计_第11张图片

【光流估计评价标准】

计算机视觉基础(6)——光流估计_第12张图片

2.1  重要假设

  • 亮度一致性:物体上同一个点在不同帧上的亮度是相同的;
  • 运动幅度小:物体上的点在两帧内的运动较小;
  • 空间连续性:一个点的运动和其周围点的运动相近;

计算机视觉基础(6)——光流估计_第13张图片

  • 对于每个像素点有,一个方程,两个未知数(u,v) ;
  • 沿着垂直梯度的方向,也即边缘方向的运动分量无法被观测;

计算机视觉基础(6)——光流估计_第14张图片

2.2  孔径问题

光流估计会出现一个问题——孔径问题。在这种情况下,光流估计将失效,即不能估计出对应点之间的实际位移(运动)。

举例说明如下:

计算机视觉基础(6)——光流估计_第15张图片

计算机视觉基础(6)——光流估计_第16张图片

2.3  Lucas Kanade方法

  • 求解欠定问题的核心想法:为每个像素点找到更多方
  • 空间一致性约束(Spatial Coherence Constraint):假设每个像素点的邻域具有相同的运动(u,v)

计算机视觉基础(6)——光流估计_第17张图片

计算机视觉基础(6)——光流估计_第18张图片

【参考文献】

B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 674–679, 1981.

Lucas-Kanade方程何时可以求解?也即对于哪些点比较适合计算光流?

计算机视觉基础(6)——光流估计_第19张图片

计算机视觉基础(6)——光流估计_第20张图片

但这种方法也有失效的情况:

1)大幅度运动

计算机视觉基础(6)——光流估计_第21张图片

计算机视觉基础(6)——光流估计_第22张图片

【解决方案】

计算机视觉基础(6)——光流估计_第23张图片

计算机视觉基础(6)——光流估计_第24张图片

2)亮度一致性不满足:相邻帧的光照发生变化

计算机视觉基础(6)——光流估计_第25张图片

【解决方案】

  • 特征点匹配
  • 模板匹配
  • 基于特征的Lucas-Kanade方法
  • 基于梯度的Lucas-Kanade方法

2.4  深度学习方法

1、FlowNet

计算机视觉基础(6)——光流估计_第26张图片

【参考文献】

Dosovitskiy, A.; Fischer, P.; Ilg, E.; Häusser, P.; Hazibas;, C.; Golkov, V.; van der Smagt, P.; Cremers, D. & Brox, T. FlowNet: Learning Optical Flow with Convolutional Networks, ICCV 2015

2、PWC-Net

计算机视觉基础(6)——光流估计_第27张图片

【参考文献】

B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 674–679, 1981.

3、Self-Supervised Method

计算机视觉基础(6)——光流估计_第28张图片

【参考文献】

Yu, J. J.; Harley, A. W. & Derpanis, K. G. Back to basics: Unsupervised learning of optical flow via brightness constancy and motion smoothness ECCV 2016

 总结

1)运动场估计

运动场

光流

2)光流估计

重要假设

Lucas Kanade方法

深度学习方法

你可能感兴趣的:(计算机视觉基础,计算机视觉,人工智能,opencv,图像处理)