(光流)2020-ECCV-普林斯頓大學-RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

一、计算图片feature
feature的分辨率是原图的1/8。
二、计算相关性（这步是文章的一个核心）
分别用4个不同的kernel size（1, 2, 4, 8)进行处理，得到4个correlation矩阵
文章定义了一个查询操作（Correlation Lookup）
三、迭代计算光流
用一句话可以概括为：用GRU循环网络迭代计算出flow。
四、监督训练

总结：
文章的主要思想：
1、以多次迭代的方式来计算最终的flow，每次迭代时，通过cost volume计算出一个 [公式] ，这样逐步向目标位置接近；
2、通过使用多分辨率的cost volume来增大检测范围。分辨率越小，相当于范围越大。相比使用单分辨率的cost volume，在计算flow比较的大的像素点时，直觉上，多分辨率的cost volume 可能更有利。

通过GRU来迭代计算flow。
https://zhuanlan.zhihu.com/p/222012743

个人感觉其中的 GRU Update 模块起的作用很大，也起到了很好的提升迁移能力的作用，实际测试效果不错。但是这个网络整体计算量不小，压缩难度比较大。
http://www.liuxiao.org/2020/10/%E8%AE%BA%E6%96%87%E7%AC%94%E8%AE%B0%EF%BC%9Araft-recurrent-all-pairs-field-transforms-for-optical-flow/

代码
https://github.com/princeton-vl/RAFT

All-Pairs Field
所有点都求了cost volume （计算代价大）