光流与行为识别讨论

一直以来，行为识别（Action Recognition）中的双流（two-stream）方法将RGB图像和光流（Optical Flow）作为网络输入，并取得了不错的效果，通常会将光流作为“黑盒”。我们可能会想：

为什么光流对于行为识别问题有帮助？光流中的什么信息对行为识别问题是有利的？我们怎么能让光流biand

作者在《On the Integration of Optical Flow and Action Recognition》这篇文章[1]中深入讨论了光流与行为识别的结合，并通过实验观察到如下结论：
（1）光流对于行为识别是有用的，因为它的外观不变性；
（2）光流法采用最小化端点误差（EPE，end-point-error）来优化，但是当前EPE方法与动作识别性能没有很好的相关性；
（3）对于测试过的光流方法，在边界上和小位移上的精度与动作识别性能最相关；
（4）采用最小化分类误差（而非EPE）来训练光流可以提高识别性能；
（5）用于行为识别任务的光流不同于传统的光流，特别是在人体内部和身体边界处。

---

参考文献

[1] Sevilla-Lara L, Liao Y, Guney F, et al. On the Integration of Optical Flow and Action Recognition[J]. arXiv preprint arXiv:1712.08416, 2017.