盘点类别级物体6D位姿估计

点击上方“计算机视觉工坊”,选择“星标”

干货第一时间送达

1.Category-level 6D Object Pose Recovery in Depth Images

作者在深度模态的背景下,解决类别级的物体6D位姿估计问题,并引入了一种新的基于部件的架构。这种架构适应了因形状差异引起的分布偏移,并消除了纹理、光照、位姿等的变化,作者称其为“固有结构适配器(ISA)”。根据以下3个条件来设计ISA:1)为了定义类别级6D位姿,作者提出了“语义选择中心(SSC)”的概念。2)3D骨架结构(作者推导出的形状不变特征),用于表示从给定类别的实例中提取的部分,并基于这些部分进行学习。3)在训练过程中进行图匹配,使所提出架构的适应/泛化能力在从未见过的实例中得到改善。

盘点类别级物体6D位姿估计_第1张图片

2.Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation

为了处理给定类别中不同的和从未见过的物体实例,作者引入了标准化物体坐标空间(简称NOCS),即同一个类别中的所有物体实例使用一个共享的标准模型来表示。然后,通过训练神经网络来推断观察到的像素与共享标准模型的对应关系以及其他信息,例如类别标签和mask。通过将预测图像与深度图相结合,共同估计杂乱场景中多个物体的6D位姿和尺寸。为了训练网络,作者提出了一种新的上下文感知技术来生成大量带注释的混合现实数据。为了进一步改进模型并评估它在真实数据上的性能,作者还提供了一个完全注释的真实场景下的数据集。大量实验表明,该方法能够鲁棒地估计真实场景中从未见过物体的位姿和大小。

盘点类别级物体6D位姿估计_第2张图片

3.6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

作者提出了一种基于RGB-D的深度学习方法6PACK,能够实时的跟踪已知类别物体。通过学习用少量的3D关键点来简洁地表示一个物体,基于这些关键点,通过关键点匹配来估计物体在帧与帧之间的运动。这些关键点使用无监督端到端学习来实现有效的跟踪。实验表明该方法显著优于现有方法,并支持机器人执行简单的基于视觉的闭环操作任务。

盘点类别级物体6D位姿估计_第3张图片

4. CPS: Class-level 6D Pose and Shape Estimation From Monocular Images

作者提出了一种基于深度学习的类别级单目6D位姿估计方法,并将其与度量形状检索相结合。还提出了一种新的损失函数,可以直接对所有参数(即3D方向,平移,缩放和形状)同时进行优化。无需解耦每个参数,而是将点云形式回归后的形状转换为3D,并直接测量其度量偏差。通过实验证明,作者可以从单个图像中检索精确的度量点云,也可以对其进行进一步处理,例如后续的渲染。此外,还证明尽管单目数据存在固有的模糊性,新3D点云损失还是优于所有baseline,并给出了整体良好的结果。

盘点类别级物体6D位姿估计_第4张图片

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。

重磅!计算机视觉工坊-学习交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

盘点类别级物体6D位姿估计_第5张图片

▲长按加微信群或投稿

盘点类别级物体6D位姿估计_第6张图片

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

盘点类别级物体6D位姿估计_第7张图片

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  盘点类别级物体6D位姿估计_第8张图片

你可能感兴趣的:(算法,计算机视觉,机器学习,人工智能,深度学习)