《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记

原论文查看地址:https://csnjiokh71.feishu.cn/file/boxcnyF7HGMFDiWayf0vSTcYTec

1.双目畸变的原理分析:

实际情况下,相机的主点(c x ,c y )并不位于图像中心,两者存在一定的偏差,而且 X 方向的等效焦距 f x 和 Y 方向的等
效焦距 f y 也不相等,所以还需要求解相机的畸变参数;
设畸变坐标为( x , y ) , 矫正后坐标为( x` , y`),则畸变矫正的数学模型为:

其中,k1、k2、k3为切向畸变参数,p1、p2为径向畸变参数

2.算法核心思想

《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记_第1张图片

3.RCF边缘检测

用训练好的 RCF 网络模型提取的轮廓二值图

《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记_第2张图片

4.细化

文章采用A Fast Parallel Algorithm for Thinning Digital Patterns 提出的细化算法找到图像中物体的骨架

5.提取最大轮廓

文中没有细讲采用了什么算法(非极大值抑制NMS?)

经过这一操作物体特征采集为

《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记_第3张图片

6.边缘分类

让左右图中箱体的边缘一一对应:

首先利用 LSD直线检测算法(该论文翻译),提取出箱体边缘的直线;然后,把这些检测到的直线利用 K-means 聚类算法,按照直线斜率以及位置关系进行分类。

7.RANSAC直线拟合

把多条直线拟合成一条直线:

该算法的主要思想是每一次选取两点,拟合一条直线,不仅要保证该条直线的内点数达到总数的一定比例,而且该直线的斜率与所有直线的平均斜率接近,并且本文采用的是自适应平均斜率;假设每条直线的斜率为 g i ,每条直线的长度为 l i , 则自适应平均斜率为:

《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记_第4张图片

然后,按照此步骤迭代 K 次,一旦拟合的直线数的内点达到规定的值,就可以结束迭代;否则,就按迭代K 次中得到的最大内点数的那条直线为想要的直线。

8.定位边缘与顶点

要在原图中定位出边缘与顶点:

由于边缘二值图和原图是对应关系,因此,首先在原图进行 LSD 直线检测,再找到与边缘二值图中边缘直线相 似 的 直 线 ,即 斜 率 和 位 置 相 近 ,然 后 再 次 进 行RANSAC 直线拟合,就可得到原图的边缘,最后利用直线相交得到箱体的顶点。

???这原图的定位不能从二值图这边转移过去吗?(感觉这一步多此一举)

效果图

《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记_第5张图片

9.双目测距与计算体积

假设左右相机的像平面位于同一平面上,并且两幅图像是行对准的,那么对于三维空间中的一个点 P ,其在左右两幅图像中的行坐标分别为 x l 、x r , 则有:

其中, Z 为三维空间点 P 与摄像机之间的距离, f为摄像机的焦距, B 为两幅摄像机的中心距,x l - x r ,定义为视差值。为了得到场景的三维信息,还需要计算空间点 P 的 X 坐标与 Y 坐标,假设 x 、 y 为 P 对应的图像坐标,相机的主点为(c x ,c y ), X 方向的等效焦距和Y 方向的等效焦距分别为 f x 、f y ,则有:

《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记_第6张图片

由于左右摄像机拍摄的是同一场景,那么左右图像对中箱体的顶点存在一一对应的关系,再根据双目立体视觉测距的原理,就可以计算得到箱体各个顶点的三维信息;最后根据两点之间的距离计算公式 , 就可得到箱体在三维空间中的长宽高。假设 V 表示箱体体积,则有 V=l*w*h, 其中 l 、 w 、 h 分别为箱体的长宽高。

本文中红字代表主题和思路,黄字是个人想法,黑字摘自原文内容。

你可能感兴趣的:(论文,RCF,双目视觉,体积测量)