如何计算rigid flow

paper:GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose

rigid flow计算公式首先rigid flow等于源帧s的像素点坐标减目标帧像素坐标(source image - target image)

那么,如何在已知target image的像素坐标时求rigid flow?

通过DepthNet,PoseNet预测出相应的深度D,内参K以及位姿信息T,计算source image的像素坐标Ps:

source image的像素坐标Ps
紫色部分代表将target image的像素坐标投影到世界坐标系(2D—>3D),从3D投影到2D平面丢弃了深度信息,所以从2D到3D在此要乘上深度信息D

蓝色部分:将target image location转换到source image location,所以在紫色部分左乘位姿T

绿色部分:将source image的世界坐标转换为像素坐标(3D—>2D)

最后rigid flow = Ps - Pt

你可能感兴趣的:(人工智能,深度学习,python)