逆透视变换IPM模型
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
IPM模型
在解释自适应的IPM模型之前，首先需要了解使用相机的物理参数来描述IPM的基本模型[1]（这篇文章虽然有点古老，但是从数学层面上阐述了IPM的数学模型）下图展示了相机坐标系，图像坐标系，以及世界坐标系之间的关系，其中（u,v）是像素单位，(r,c)和（X,Y,Z）是米制单位。
使用IPM的目的是将像素点（u,v）映射到世界坐标系下的（X,Y,Z），首先定义一个单位向量X'来表示相机的视角的方向（这里用“‘ ”来表示这是一个矢量）那么与X'正交的就是单位向量Y"，该向量是与地面和相机的视角的方向都是正交的关系，IPM就是寻找到世界坐标系下的（X',Y',Z'）与图像坐标系（u',v'）之间的关系，以便将图像的像素映射到世界坐标系下。这里一定要注意根据单位的不同的，图像上的两种坐标系设置为（u',v'）和（r',c'）.像素空间中的图像点（u',v'）与米制单位空间中的（r',c'）是相同点。他们之间的关系定义如下：
这里说明一下K是像素与米单位之间的关系（Px/m）,其实就是每米占多少个pixel.图像的宽度m,以及图像的高度n。相机的光学中心P在世界坐标系中的位置为（0,0，h）。光学中心的轴用O'表示，是与像平面是正交的（这里可以想象一下，肯定是正交的关系）。
我们近一步的通过下面的侧视图和俯视图的描述参数中，假设物体的高度为0，那么很容易的计算出世界坐标系中的投影图像，使用侧视图理解，X'方向上的点X可以写成像素点v,相机的倾斜角（theta0）和垂直角（theta）的函数。
倾斜角表示平行于地面的直线与光轴之间的角度（O'）垂直角是从P到每个像素的线与O'之间的角度，利用上图中的几何学关系，我们可以推导出倾斜角和垂直角，这两个已知量是可以作为函数的参数，寻找两者之间的关系是我们发现从垂直的焦距fr开始，从中我们可以得到theta(V)。
通过几何学之间的关系我们可以得到如下的关系式：
其中r_top是是指在（r',c’）坐标系下最高的图像点，
alpha_r是垂直方向上FOＶ的一半，
r_top在我们假设像素的坐标系中的ｖ＝１的时候是可以被推导出来的
并且fr 是可以根据上两个式子推导出来的
则θ(v) 可以表示为
最终我们根据上式子表示出 X(v)
请注意，世界坐标系中的X与图像平面的u无关。下一步，我们用俯视图求出Y，如图3所示：
这个关系可以用X和Y之间的比例表达式来推导：
其中fc是水平焦距，可从：
与侧视图几何图形类似，C_right是（r'，c'）坐标中最右侧点的C值，a_c是水平视野的半角。当u值为n时，可获得C_right
因此，fc和Y（u，v）可以定义为（12）、（13）。如果图像的宽度和高度相同（m=n），则fc与fr相同
Y（u，v）在世界坐标中的位置取决于（u，v），因为Y（u，v）包括X（v）。但该模型仅考虑从固定摄像机获取图像的情况。当从运动车辆获取图像时，由于车辆的运动，尤其是其俯仰方向，很难将图像转换为准确的鸟瞰图像。为了解决该问题，在该模型中还添加了相机俯仰方向（theta_p）上的角度，如下图所示。
自适应IPM模型的侧视图,相机的俯仰角（ep）添加到基本IPM模型中
最后，通过将theta_p添加到原始theta_o，可以导出自适应IPM建模方程（14）
X（v，theat_p）取决于相机的俯仰角（theta_p），Y（u，v,theta_p）也取决于它，这意味着鸟瞰图像根据俯仰角进行适当补偿。
[1] Hanspeter A Mallot, Heinrich H Bulthoff, JJ Little, and ¨Stefan Bohrer. Inverse perspective mapping simplifies optical flow computation and obstacle detection. Biological cybernetics, 64(3):177–185, 1991.
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
