啊，老虎的防护网怎么“不见”了？？
如何假装自己胆子很大？
首先，隔着防护网给老虎拍一段视频：
图丨参考资料1
然后，用一股神秘的力量“逼退”防护网：
图丨参考资料1
这时候就可以骄傲地告诉别人，我是和老虎正面对刚过的人。老虎扬起头张开嘴，我都稳如泰山，手里的镜头晃也不晃一下（误）。
那么问题就是，这一股神秘的力量从何而来？
有只AI，在背后操控了一切。它由台湾大学领衔出品，凭着精湛的法术登上了计算机视觉顶会CVPR 2020。
暗中观察一举一动
所以，AI是怎样抹杀防护网的？
它用的是光流（optical flow）大法。这个概念在1940年代就出现了，描述的是观察者眼里物体的运动情况。
观察者可以是人类的肉眼，也可以是摄影机的镜头；物体的运动可以是它自己造成的，也可以是肉眼或者镜头的运动造成的。
视频里的每一个像素点，在帧与帧之间发生的位移，都会被记录下来。光流法便是利用这些，来估计物体发生了怎样的运动。
光流界大前辈FlowNet 2.0的作品丨参考资料2
具体到老虎的视频里，要把防护网看作遮挡物，把其他部分看作背景。因为镜头在动，所以视频里遮挡物和背景都在运动，但它们的运动是有差异的，这种差异会被光流法灵敏地捕捉到。
AI就是利用它们之间的运动差异，把防护网（遮挡物）分离出来：
抠下来了丨参考资料1
而抠掉防护网之后，原本被它遮挡的地方成了残缺，需要修复。
那么，修复的依据是什么？运动的摄影机，拍下了不同角度的画面。每一帧里，背景被遮挡的部分都不同，露出的部分也不同。一帧露出的部分，可能成为修复其他帧的参考资料。
视角不同，遮挡关系就不同丨参考资料1
总结一下，一是抠出遮挡物，二是修复背景。看起来，这是两步就能完成的轻松任务？
现实没有这么简单，需要循序渐进。科学家们把任务分成了三个阶段，从粗糙到精细，每个阶段都要在不同尺度上估计光流和修复背景。两个步骤要交替进行三个回合。
这样，科学家们才获得了肉眼难辨真假的科学画面：
瞬间拆除丨参考资料1
于是问题又来了：直接识别防护网的特征不就好了，为什么要用光流这么麻烦？
毕竟，你可能没有向别人炫耀自己胆大的需求，却有隔着玻璃拍照的需求呢。比如，在水族馆拍鱼的时候自己的影子乱入，在博物馆拍展品的时候自己的影子又乱入……
这只AI除了可以抹掉防护网，也负责消除各类“鬼影”：
无影小能手，简称无影手（误）丨参考资料1
只要向它投喂一组不同角度拍下的画面，就可以了。
除了解锁清爽无鬼影的画面，还可以把影子里的景色也还原出来：
左为原始视频，右为分离出的影子丨参考资料1
另外，像去除雨滴这样的经典任务，也难不倒它。研究团队在论文里说，不同类型的遮挡物，都可以用这一种算法来消除。
掌控雨滴，掌控雷电（误）丨参考资料1
其实，光流法的多才多艺，人类也不是头一次领教了。
万物通吃的法术
去年，商汤的科学家们孕育的一只AI，能直接从一段影像里抹去一个人物，依靠的也是光流。
比如，水塘里的一只火烈鸟不见了：
我亲爱的基友，你去哪了？丨参考资料3
比如，训练场上扑街的萌新警官朱迪消失了，空留下她踩出的水坑：
融进雪水里就不丢人了丨参考资料3
比如，机场酣战中的蜘蛛侠突然隐身，只剩蛛丝缠住巨大化的蚁人，令对手身陷恐怖片：
小朋友，你是否瑟瑟发抖？丨参考资料3
对算法来说，再活蹦乱跳的人物，也只是不同形态的遮挡物而已。
谁也逃不出AI的支配。
参考文献
[1]Liu, Y. L., Lai, W. S., Yang, M. H., Chuang, Y. Y., & Huang, J. B. (2020). Learning to See Through Obstructions. InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(pp. 14215-14224).
[2]Ilg, E., Mayer, N., Saikia, T., Keuper, M., Dosovitskiy, A., & Brox, T. (2017). Flownet 2.0: Evolution of optical flow estimation with deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2462-2470).
[3]Xu, R., Li, X., Zhou, B., & Loy, C. C. (2019). Deep flow-guided video inpainting. InProceedings of the IEEE Conference on Computer Vision and Pattern Recognition(pp. 3723-3732).
作者：栗子
编辑：odette
一个AI
被AI支配，总比被人类支配好亿点：
鬼畜天女丨橙某
本文来自果壳，未经授权不得转载.
如有需要请联系[email protected]
