抓取领域相关论文及摘要（有源码会附上源码）

目录

1、Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review（2019）

2、Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects（2018）

3、 Grasp Pose Detection in Point Clouds（2017）

4、Grasp2Vec: Learning Object Representations from Self-Supervised Grasping （2018）

 5、Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement Learning（2018）

6、High precision grasp pose detection in dense clutter（2016）

7、Deep Grasp: Detection and Localization of Grasps with Deep Neural Networks（2018）

8、FlowQA: Grasping Flow in History for Conversational Machine Comprehension（2019）

9、Object SLAM-Based Active Mapping and Robotic Grasping（2020）

10、Workspace Aware Online Grasp Planning（2018）

11、Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach（2018）

12、ContactPose: A Dataset of Grasps with Object Contact and Hand Pose（2020）

13、PointNetGPD: Detecting Grasp Configurations from Point Sets（2018）

14、Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching（2017）

15、Grasping Field: Learning Implicit Representations for Human Grasps（2020）

16、 GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping（2020）

17、Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network（2019）

18、Volumetric Grasping Network: Real-time 6 DOF Grasp Detection in Clutter（2021）

19、 6-DOF Grasping for Target-driven Object Manipulation in Clutter（2019）

20、Multi-View Picking: Next-best-view Reaching for Improved Grasping in Clutter（2019）

21、Robot Learning of Shifting Objects for Grasping in Cluttered Environments（2019）

22、 GanHand: Predicting Human Grasp Affordances in Multi-Object Scenes（2020）

23、PointNet++ Grasping: Learning An End-to-end Spatial Grasp Generation Algorithm from Sparse Point Clouds（2020）

24、Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps（2020）

25、Category-agnostic Segmentation for Robotic Grasping（2022）

26、A Visually Plausible Grasping System for Object Manipulation and Interaction in Virtual Reality Environments（2019）

27、ACRONYM: A Large-Scale Grasp Dataset Based on Simulation（2020）

28、A Deep Learning Approach to Grasping the Invisible（2019）

29、Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes（2021）

30、GraspME -- Grasp Manifold Estimator（2021）

31、ContactDB: Analyzing and Predicting Grasp Contact via Thermal Imaging（2019）

32、Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands（2020）

---

1、Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review（2019）

本文对基于视觉的机器人抓取技术进行了综述。总结了基于视觉的机器人抓取过程中的三个关键任务:目标定位、目标姿态估计和抓取估计。其中，目标定位任务包括不分类的目标定位、目标检测和目标实例分割。此任务在输入数据中提供目标对象的区域。目标位姿估计任务主要是对6D目标位姿的估计，包括基于通信的方法、基于模板的方法和基于投票的方法，为已知目标提供抓取位姿的生成。抓取估计任务包括二维平面抓取方法和6DoF抓取方法，其中二维平面抓取方法约束从一个方向抓取。这三个任务可以通过不同的组合完成机器人抓取。许多目标位姿估计方法都不需要目标定位，而是将目标定位和目标位姿估计联合起来进行。许多抓取估计方法都不需要物体定位和物体姿态估计，并且采用端到端的方式进行抓取估计。本文详细回顾了传统的基于RGB-D图像输入的深度学习方法和最新的基于RGB-D图像输入的深度学习方法。并对相关数据集和最新方法的比较进行了总结。此外，还指出了基于视觉的机器人抓取面临的挑战和未来的发展方向。

源码：GitHub - GeorgeDu/vision-based-robotic-grasping: Related papers and codes for vision-based robotic graspingRelated papers and codes for vision-based robotic grasping - GitHub - GeorgeDu/vision-based-robotic-grasping: Related papers and codes for vision-based robotic graspinghttps://github.com/GeorgeDu/vision-based-robotic-grasping

2、Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects（2018）

使用合成数据训练用于机器人操作的深度神经网络，有望获得几乎无限数量的预先标记训练数据，这些数据可以安全地在安全的地方生成。迄今为止，合成数据的关键挑战之一是弥合所谓的现实差距，以便在面对现实数据时，基于合成数据训练的网络能够正确运行。我们探索现实差距的背景下，已知对象的6自由度姿态估计从一个单一的RGB图像。我们表明，对于这个问题，现实差距可以成功跨越一个简单的领域随机和逼真的数据组合。使用以这种方式生成的合成数据，我们引入了一个一次性深度神经网络，它能够与基于真实数据和合成数据组合训练的最先进的网络进行竞争。据我们所知，这是第一个仅在合成数据上训练的深度网络，能够在6自由度物体姿态估计上实现最先进的性能。我们的网络还可以更好地推广到包括极端光照条件在内的新颖环境，我们对这些环境给出了定性结果。利用该网络，我们演示了一个实时系统，该系统对物体的姿态进行了足够准确的估计，以实现真实机器人对已知杂乱物体的语义抓取。

源码：https://github.com/NVlabs/Deep_Object_Posehttps://github.com/NVlabs/Deep_Object_Pose

https://github.com/yehengchen/DOPE-ROS-D435https://github.com/yehengchen/DOPE-ROS-D435

3、 Grasp Pose Detection in Point Clouds（2017）

近年来，许多抓取检测方法被提出，可用于直接从传感器数据定位机器人抓取构型，而无需估计目标姿态。其基本思想是将抓取感知类比于计算机视觉中的目标检测。这些方法以噪声和部分遮挡的RGBD图像或点云作为输入，并产生作为输出的可行抓手的姿态估计，而不假设对象的已知CAD模型。虽然这些方法能够很好地将掌握的知识推广到新对象，但它们还没有被证明足够可靠，可以广泛应用。许多抓取检测方法的抓取成功率(抓取成功率为抓取尝试总数的一部分)在75%到95%之间，对于孤立地或轻杂波中呈现的新对象。这些成功率不仅对于实际的抓取应用来说太低，而且评估的轻杂波场景往往不能反映真实世界的抓取情况。本文提出了一些创新，共同导致了抓取检测性能的显著提高。我们的每一项贡献所带来的具体性能改进都可以在仿真或机器人硬件上进行定量测量。最终，我们报告了一系列机器人实验，平均93%的端到端抓取成功率在密集的杂波中呈现的新物体。

源码：https://github.com/atenpas/gpdhttps://github.com/atenpas/gpd

4、Grasp2Vec: Learning Object Representations from Self-Supervised Grasping （2018）

结构良好的视觉表示可以使机器人学习速度更快，提高泛化能力。在本文中，我们研究了如何利用机器人与环境的自主交互，在没有人类标记的情况下，获得有效的以对象为中心的机器人操作任务表示。随着机器人积累了更多的经验，这种表征学习方法可以受益于表征的不断细化，使它们能够在没有人类干预的情况下有效地缩放。我们的表征学习方法基于对象持久性:当机器人从场景中移除一个对象时，该场景的表征应该根据被移除对象的特征而改变。我们制定一个从这个观察计算特征向量之间的关系,并使用它来学习的表示场景和对象,然后可以用来识别对象实例,本地化的现场,执行目标导向把握任务的机器人必须从本检索命令对象。同样的抓取过程也可以用来为我们的方法自动收集训练数据，通过记录场景的图像，抓取和移除一个物体，并记录结果。我们的实验表明，这种任务抓取的自我监督方法大大优于直接强化图像学习和先前的表示学习方法。

源码：tensor2robot/research/grasp2vec at master · google-research/tensor2robot · GitHubhttps://github.com/google-research/tensor2robot/tree/master/research/grasp2vec

 5、Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement Learning（2018）

熟练的机器人操作得益于非抓握(如推)和抓握(如抓)动作之间的复杂协同作用:推可以帮助重新排列杂乱的物体，为手臂和手指腾出空间;同样，抓取可以帮助移动物体，使推动运动更精确和无碰撞。在这项工作中，我们证明了通过无模型深度强化学习从头发现和学习这些协同作用是可能的。我们的方法包括训练两个完全卷积的网络，从视觉观察映射到动作:一个推断出推动的作用，以密集像素级的方式对末端执行器的方向和位置进行采样，而另一个则对抓取进行相同的操作。这两个网络在一个Q-learning框架中联合训练，并完全通过试错进行自我监督，成功的掌握将提供奖励。通过这种方式，我们的政策学会了推动行动，使未来的掌握成为可能，同时也学会了利用过去的推动。在模拟和现实场景下的拾取实验中，我们发现我们的系统在杂乱的挑战情况下快速学习复杂行为，在短短几个小时的训练后，比基线方案获得了更好的拾取成功率和拾取效率。我们进一步证明了我们的方法能够推广到新的对象。定性结果(视频)、代码、预先训练的模型和模拟环境可以在http://vpg.cs.princeton.edu上找到

源码：https://github.com/andyzeng/visual-pushing-graspinghttps://github.com/andyzeng/visual-pushing-grasping

https://github.com/jhu-lcsr/good_robothttps://github.com/jhu-lcsr/good_robot

6、High precision grasp pose detection in dense clutter（2016）

本文研究点云中的抓取位姿检测问题。我们遵循一个通用的算法结构，首先生成一个大的6自由度抓取候选集合，然后将它们分别归类为好的抓取或坏的抓取。我们在本文中的重点是通过使用来自大型在线数据集的深度传感器扫描来训练卷积神经网络来改进第二步。我们提出了两种新的抓取候选对象表示，并量化了使用两种形式的先验知识(被抓取对象的实例或类别知识)的效果，并根据理想化CAD模型获得的模拟深度数据对网络进行预训练。我们的分析表明，信息量更大的抓取候选表示以及预训练和先验知识显著提高了抓取检测。我们在Baxter研究机器人上评估了我们的方法，并证明在密集的杂波中平均抓取成功率为93%。这比我们之前的工作提高了20%。

https://github.com/atenpas/gpdhttps://github.com/atenpas/gpd

7、Deep Grasp: Detection and Localization of Grasps with Deep Neural Networks（2018）

提出了一种深度学习结构，用于预测机器人操作的可抓取位置。它考虑没有对象、一个或多个对象的情况。通过将学习问题定义为具有零假设竞争的分类而不是回归，具有RGB-D图像输入的深度神经网络在一次镜头中预测出单个或多个目标的多个抓取候选对象。该方法在康奈尔数据集上的图像分割和对象分割精度分别达到96.0%和96.1%，优于最先进的方法。在多对象数据集上的评估说明了该体系结构的泛化能力。对一组家用物品进行抓取实验，获得96.0%的抓取定位和88.0%的抓取成功率。从图像到计划的实时过程需要不到0.25秒。

https://github.com/ivalab/grasp_multiObject_multiGrasphttps://github.com/ivalab/grasp_multiObject_multiGrasphttps://github.com/ivalab/grasp_multiObjecthttps://github.com/ivalab/grasp_multiObject

8、FlowQA: Grasping Flow in History for Conversational Machine Comprehension（2019）

会话机器理解需要理解会话历史，如以前的问题/答案对、文档上下文和当前的问题。为了使传统的单转模型能够全面地对历史进行编码，我们引入了Flow机制，它可以通过交替并行处理结构，将在回答之前的问题过程中生成的中间表示结合起来。与将之前的问题/答案串联起来作为输入的方法相比，Flow更深入地集成了会话历史的潜在语义。我们的模型FlowQA在最近提出的两个会话挑战(CoQA的F1值+7.2%，QuAC的F1值+4.0%)上表现优异。心流的有效性也体现在其他任务中。通过将顺序指令理解降低到会话机器理解，FlowQA在SCONE的所有三个领域都优于最佳模型，准确率提高了1.8%到4.4%。

https://github.com/momohuang/FlowQAhttps://github.com/momohuang/FlowQA

9、Object SLAM-Based Active Mapping and Robotic Grasping（2020）

本文提出了第一个用于复杂机器人操作和自主感知任务的主动目标映射框架。该框架建立在目标SLAM系统的基础上，集成了同时进行的多目标位姿估计过程，以优化机器人抓取。为了减少对目标物体的观测不确定性，提高目标物体的位姿估计精度，我们还设计了一种对象驱动的探索策略来指导目标映射过程，实现自主映射和高层次感知。将测绘模块与探测策略相结合，可生成与机器人抓取相兼容的精确目标地图。定量评价也表明，该框架具有很高的映射精度。实验操作(包括物体抓取和放置)和增强现实显著地证明了我们提出的框架的有效性和优势。

https://github.com/yanmin-wu/EAO-SLAMhttps://github.com/yanmin-wu/EAO-SLAM

10、Workspace Aware Online Grasp Planning（2018）

本工作提供了一个工作空间感知的在线掌握计划器的框架。该框架通过在在线抓取规划过程中引入可达性的概念，大大提高了标准在线抓取规划算法的性能。脱机时，研究人员对一个包含数十万个不同末端执行器姿态的数据库进行了可行性查询。在运行时，我们的抓握规划器使用这个数据库使手偏向可到达的末端执行器配置。偏差使抓取规划器保持在规划场景的可访问区域，从而产生的抓取器可以根据手头的情况进行定制。这导致可达到的抓取百分比更高，成功执行抓取的百分比更高，并减少了计划时间。我们还提供了模拟和真实环境下的实验结果。

https://github.com/scikit-fmm/scikit-fmmhttps://github.com/scikit-fmm/scikit-fmm

11、Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach（2018）

本文提出了一种实时的、与物体无关的、可用于闭环抓取的抓取综合方法。我们提出的生成抓取卷积神经网络(GG-CNN)在每个像素预测抓取的质量和姿态。这种来自深度图像的一对一映射克服了当前深度学习抓取技术的局限性，避免了抓取候选对象的离散采样和较长的计算时间。此外，我们的GGCNN在检测稳定抓手时比目前最先进的技术小了几个数量级。我们的GG-CNN轻量级和单次生成特性允许高达50Hz的闭环控制，在物体移动和机器人控制不准确的非静态环境中实现准确抓取。在现实世界的测试中，我们对一组以前不可见的具有对敌几何形状的物体的抓取成功率为83%，对一组在抓取过程中移动的家用物体的抓取成功率为88%。在动态杂波中抓取，准确率达81%。

GitHub - dougsm/mvp_grasp: Multi-Viewpoint Picking (ICRA 2019)https://github.com/dougsm/mvp_grasphttps://github.com/TianheWu/LGPNethttps://github.com/TianheWu/LGPNethttps://github.com/youkenhou/ggcnn_pytorchhttps://github.com/youkenhou/ggcnn_pytorchhttps://github.com/TianheWu/LGPNethttps://github.com/TianheWu/LGPNetGitHub - dougsm/mvp_grasp: Multi-Viewpoint Picking (ICRA 2019)https://github.com/dougsm/mvp_grasp

12、ContactPose: A Dataset of Grasps with Object Contact and Hand Pose（2020）

抓取是人类的天性。然而，它涉及复杂的手部构型和软组织变形，这可能导致手部和物体之间复杂的接触区域。理解和建模这种接触可以潜在地改善手部模型、AR/VR体验和机器人抓取。然而，我们目前缺乏与其他数据模式配对的手-物接触数据集，这是开发和评估接触建模技术的关键。我们引入ContactPose，第一个手-物接触数据集，搭配手-物-姿和RGB-D图像。ContactPose拥有2306个独特的抓取器，50个参与者以2种功能意图抓取25个家用物品，以及超过2.9 M RGB-D抓取图像。对ContactPose数据的分析揭示了手部姿势和接触之间有趣的关系。我们使用这些数据严格评估各种数据表示、文献中的启发式和接触建模的学习方法。数据、代码和训练过的模型可以在https://contactpose.cc.gatech.edu上找到。

https://github.com/facebookresearch/ContactPosehttps://github.com/facebookresearch/ContactPosehttps://github.com/samarth-robo/ContactPose-MLhttps://github.com/samarth-robo/ContactPose-ML

13、PointNetGPD: Detecting Grasp Configurations from Point Sets（2018）

在本文中，我们提出了一个端到端抓取评估模型，以解决直接从点云定位机器人抓取构型的挑战性问题。与最近基于手工深度特征和卷积神经网络(CNN)的抓取评估指标相比，我们提出的PointNetGPD是轻量级的，可以直接处理位于抓取器内的3D点云进行抓取评估。以原始点云为输入，即使点云非常稀疏，我们所提出的抓取评价网络也能捕捉到抓取器与物体接触区域的复杂几何结构。为了进一步改进我们提出的模型，我们生成了一个包含350k真实点云的更大尺度的抓取数据集，并使用YCB对象集进行抓取训练。在仿真和机器人硬件上对所提出模型的性能进行了定量测量。对目标抓取和杂波去除的实验表明，我们提出的模型对新目标具有良好的泛化能力，并优于现有的方法。

https://github.com/lianghongzhuo/PointNetGPDhttps://github.com/lianghongzhuo/PointNetGPDhttps://github.com/navjot95/pointNetGraspClassifierhttps://github.com/navjot95/pointNetGraspClassifier

14、Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching（2017）

本文介绍了一种机器人拾取和放置系统，能够抓取和识别已知和新的对象在混乱的环境。该系统的关键新特性是，它可以处理广泛的对象类别，而不需要任何针对新对象的特定任务训练数据。为了实现这一目标，首先使用一种类别无关的可视性预测算法在四种不同的抓取原始行为中进行选择和执行。然后，它通过一个跨域图像分类框架识别选中的对象，该框架将观察到的图像与产品图像进行匹配。由于产品图像可用于广泛的对象(例如，从网络)，该系统工作开箱即用的新对象，不需要任何额外的训练数据。详尽的实验结果表明，我们的多可视性抓取对杂波中各种各样的目标都有较高的成功率，我们的识别算法对已知和新抓取的目标都有较高的准确率。这种方法是麻省理工学院-普林斯顿团队系统的一部分，该系统在2017年亚马逊机器人挑战赛中获得了装载任务第一名。所有的代码、数据集和预先训练的模型都可以在http://arc.cs.princeton.edu上找到

GitHub - andyzeng/arc-robot-vision: MIT-Princeton Vision Toolbox for Robotic Pick-and-Place at the Amazon Robotics Challenge 2017 - Robotic Grasping and One-shot Recognition of Novel Objects with Deep Learning.https://github.com/andyzeng/arc-robot-vision

15、Grasping Field: Learning Implicit Representations for Human Grasps（2020）

 近年来，家用机器人抓取技术取得了显著进展。然而，人类的抓地力仍然难以真实地合成。有几个关键原因:(1)人手自由度多(比机器人多);(2)合成的手应符合物体表面;(3)它应该以一种语义上和物理上可信的方式与物体互动。为了在这个方向上取得进展，我们从基于学习的三维对象重建隐式表示的最新进展中汲取灵感。具体来说，我们提出了一种高效且易于与深度神经网络集成的人类把握建模表达方法。我们的见解是，三维空间中的每一点都可以分别用到手表面和物体表面的符号距离来表征。因此，手、物体和接触区域可以用一个公共空间中的隐式曲面来表示，在这个空间中，手和物体之间的接近程度可以显式建模。我们将这种3D到2D的映射称为抓取场，用深度神经网络参数化它，并从数据中学习它。我们证明，提出的抓取领域是一个有效的和表达的人类抓取生成表示。具体来说，我们的生成模型能够合成高质量的人类抓取，只在3D对象点云上给出。大量的实验表明，我们的生成模型与一个强大的基线相比有优势，接近人类自然掌握的水平。我们的方法提高了手-物接触重建的物理可信性，并实现了与最先进的方法相比的三维手重建性能。

GitHub - korrawe/grasping_fieldhttps://github.com/korrawe/grasping_field_demo

16、 GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping（2020）

物体抓取是许多应用的关键，也是一个具有挑战性的计算机视觉问题。然而，对于复杂场景，目前的研究存在训练数据不足和缺乏评价基准的问题。在这项工作中，我们贡献了一个具有统一评价系统的大规模的抓取姿态检测数据集。我们的数据集包含97280张RGB-D图像，有超过10亿个抓取姿势。同时，我们的评价系统通过分析计算直接报告抓取是否成功，可以在不完全标注地面真理的情况下评价任何类型的抓取姿态。此外，我们提出了一个端到端的抓取姿态预测网络，给出了点云输入，在那里我们以一种解耦的方式学习接近方向和操作参数。为了提高抓取的鲁棒性，设计了一种新的抓取亲和域。我们进行了大量的实验，以表明我们的数据集和评估系统可以很好地与现实世界的实验保持一致，我们提出的网络实现了最先进的性能。我们的数据集、源代码和模型可以在www.graspnet.net上公开。

GitHub - graspnet/graspnet-baseline: Baseline model for "GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping" (CVPR 2020)Baseline model for "GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping" (CVPR 2020) - GitHub - graspnet/graspnet-baseline: Baseline model for "GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping" (CVPR 2020)https://github.com/graspnet/graspnet-baseline

17、Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network（2019）

在本文中，我们提出了一个模块化机器人系统，以解决从场景的nchannel图像生成和执行未知物体的反足机器人抓取的问题。我们提出了一种新的生成式残差卷积神经网络(GR-ConvNet)模型，该模型可以在实时速度(~20ms)下从n通道输入产生鲁棒的对跖抓握。我们在标准数据集和不同的家庭对象集上评估所提出的模型架构。在Cornell和Jacquard抓取数据集上，我们分别取得了97.7%和94.6%的精确度。我们还证明了使用7自由度机械臂对家庭和对敌物体的抓取成功率分别为95.4%和93%。

GitHub - skumra/robotic-grasping: Antipodal Robotic Grasping using GR-ConvNet. IROS 2020.https://github.com/skumra/robotic-grasping

GitHub - skumra/baxter-pnp: Baxter Pick and Place using GR-ConvNet. IROS 2020.Baxter Pick and Place using GR-ConvNet. IROS 2020. - GitHub - skumra/baxter-pnp: Baxter Pick and Place using GR-ConvNet. IROS 2020.https://github.com/skumra/baxter-pnpGitHub - SteveHao74/shahao_GR-ConvNethttps://github.com/SteveHao74/shahao_GR-ConvNet

18、Volumetric Grasping Network: Real-time 6 DOF Grasp Detection in Clutter（2021）

一般的机器人在混乱中抓取需要合成抓取的能力，这种抓取对以前看不见的物体有效，并且对物理交互也很健壮，比如与场景中的其他物体的碰撞。在这项工作中，我们设计并训练了一个网络，该网络根据从车载传感器(如腕部深度相机)收集的3D场景信息预测6自由度抓取。我们提出的体积抓取网络(VGN)接受场景的截断符号距离函数(TSDF)表示，并直接输出预测的抓取质量，以及查询的3D体素中每个体素的相关抓取方向和开口宽度。我们表明，我们的方法可以在10毫秒内计划抓取，并能够清除92%的对象在真实世界的杂波去除实验中，而不需要明确的碰撞检查。这种实时能力为闭环抓取规划提供了可能性，允许机器人处理干扰、从错误中恢复并提供更高的鲁棒性。代码可以在https://github.com/ethz-asl/vgn上找到。

GitHub - ethz-asl/vgn: Real-time 6 DOF grasp detection in clutter.https://github.com/ethz-asl/vgn

19、 6-DOF Grasping for Target-driven Object Manipulation in Clutter（2019）

在混乱的环境中抓取是一项基本但具有挑战性的机器人技能。它既需要对看不见的物体部分进行推理，也需要对与机械手的潜在碰撞进行推理。大多数现有的数据驱动方法通过将自己限制在自上而下的平面抓取中而避免了这个问题，这在许多现实场景中是不够的，并且极大地限制了可能的抓取。我们提出了一种方法，计划从部分点云观测在凌乱的场景中为任何想要的对象进行6自由度抓取。我们的方法获得了80.3%的抓取成功率，比基准方法高出17.6%，并在一个真实的机器人平台上清理了9个凌乱的桌面场景(其中包含23个未知对象和51个拾取)。通过使用我们学习过的碰撞检查模块，我们甚至可以推断出有效的抓取序列来检索不能立即访问的对象。补充视频可以在https://youtu.be/wOB5S-gCsJk找到。

GitHub - NVlabs/6dof-graspnet: Implementation of 6-DoF GraspNet with tensorflow and python. This repo has been tested with python 2.7 and tensorflow 1.12.Implementation of 6-DoF GraspNet with tensorflow and python. This repo has been tested with python 2.7 and tensorflow 1.12. - GitHub - NVlabs/6dof-graspnet: Implementation of 6-DoF GraspNet with tensorflow and python. This repo has been tested with python 2.7 and tensorflow 1.12.https://github.com/NVlabs/6dof-graspnet

20、Multi-View Picking: Next-best-view Reaching for Improved Grasping in Clutter（2019）

摄像机视点选择是视觉抓取检测的一个重要方面，特别是在有许多遮挡的杂波环境中。其他方法使用静态摄像机位置或固定数据收集例程，而我们的多视图拾取(MVP)控制器使用一种主动感知方法，直接基于实时的抓取姿态估计分布来选择信息丰富的视角，减少了由杂波和遮挡造成的抓取姿态中的不确定性。在从杂乱中抓取20个物体的试验中，我们的MVP控制器实现了80%的抓取成功率，比单视角抓取检测器的性能高出12%。我们还表明，我们的方法比考虑多个固定视点的方法更准确和更有效。

https://github.com/dougsm/mvp_grasphttps://github.com/dougsm/mvp_grasphttps://github.com/sawyermade/mvp_grasphttps://github.com/sawyermade/mvp_grasp

21、Robot Learning of Shifting Objects for Grasping in Cluttered Environments（2019）

在杂乱的环境中，机器人的抓取通常是不可行的，因为障碍物阻碍了可能的抓取。然后，像移动或推动物体这样的预抓取操作就变得必要了。我们开发了一种算法，它可以学习，除了抓取，以这样一种方式移动物体，以增加它们的抓取概率。我们的研究贡献有三个方面:首先，我们提出了一个算法来学习操作基元的最佳姿态，如夹紧或移动。第二，我们学习无法理解的动作，这明显增加了抓取的概率。让一种技能(移动)直接依赖于另一种技能(抓取)，从而消除了对稀疏奖励的需求，从而导致更有效的数据学习。第三，我们将一个真实世界的解决方案应用于捡垃圾的工业任务，从而实现完全清空垃圾箱的能力。该系统以自我监督的方式进行培训，大约有25000个抓手和2500个换挡动作。我们的机器人每小时能抓取和归档274次。此外，我们证明了系统的能力，推广到新的对象。

https://github.com/pantor/learning-shifting-for-graspinghttps://github.com/pantor/learning-shifting-for-grasping

22、 GanHand: Predicting Human Grasp Affordances in Multi-Object Scenes（2020）

深度学习的兴起带来了从图像中估计手的几何形状的显著进展，而手是场景的一部分。本文关注的是一个迄今尚未探索的新问题，即在给定一个或多个物体的RGB图像的情况下，预测人类如何抓取这些物体。这是一个在增强现实、机器人或假肢设计等领域具有巨大潜力的问题。为了预测可行的抓取，我们需要理解图像的语义内容、几何结构以及与手部物理模型的所有潜在交互。为此，我们引入了一个生成模型，在所有这些层面上进行推理，1)回归场景中物体的3D形状和姿态;2)判断抓握类型;3)改进了51自由度的3D手模型，最大限度地减少了可抓取性损失。为了训练这个模型，我们构建了ycb -可视性数据集，其中包含了YCB-Video数据集中21个对象的超过133k幅图像。根据33类分类，我们已经用超过28M个可信的3D人类抓手对这些图像进行了注释。对合成和真实图像的全面评估表明，我们的模型可以稳健地预测真实的抓取，即使在有多个物体密切接触的混乱场景中也是如此。

https://github.com/enriccorona/ganhandhttps://github.com/enriccorona/ganhand

23、PointNet++ Grasping: Learning An End-to-end Spatial Grasp Generation Algorithm from Sparse Point Clouds（2020）

抓取新物体对于非结构环境下的机器人操作具有重要意义。目前的研究大多需要一个抓取采样过程，结合深度学习的局部特征提取器来获取抓取候选对象。这个管道是耗时的，特别是当抓取点很稀疏的时候，比如在碗的边缘。在本文中，我们提出了一种端到端的方法来直接预测所有握拍的姿势、类别和得分(质量)。它以整个稀疏点云作为输入，不需要采样和搜索过程。此外，为了生成多目标场景的训练数据，我们提出了一种基于Ferrari Canny度量的快速多目标抓取检测算法。生成一个单对象数据集(来自YCB对象集的79个对象，23.7k抓取)和一个多对象数据集(20k带注释和掩码的点云)。提出了一种基于pointnet++结合多掩码丢失的网络来处理不同的训练点。我们的网络的整个权重大小只有11.6M，使用GeForce 840M GPU的整个预测过程大约需要102ms。实验结果表明，我们的工作取得了71.43%的成功率和91.60%的完成率，优于现有的技术水平。

GitHub - pyni/PointNet2_Grasping_Data_Part: The dataset of our paper for ICRA 2020https://github.com/pyni/PointNet2_Grasping_Data_Part

24、Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps（2020）

从视觉观察中学习机器人抓握是一项很有前途但具有挑战性的任务。最近的研究表明，通过准备和学习大规模合成数据集，它具有巨大的潜力。针对目前比较流行的6自由度并联颌夹持器抓位设置问题，现有方法大多采用启发式抽样抓取候选抓位，然后利用学习到的评分函数对候选抓位进行评估的策略。该策略的局限性在于采样效率与最优抓手覆盖率之间的冲突。为此，我们在这项工作中提出了一个新颖的端到端lemph[抓握建议网络(GPNet))，以预测从单一和未知摄像机视角观察到的不可见物体的不同的6自由度抓握集合。GPNet基于抓取建议模块的关键设计，该模块在离散但规则的3D网格角上定义了lemph(抓取中心的锚点)，可以灵活地支持更精确或更多样化的抓取预测。为了测试GPNet，我们提供了一个六自由度物体抓取的合成数据集;评估采用基于规则的标准、模拟测试和真实测试进行。比较结果表明，我们的方法比现有的方法有优势。值得注意的是，GPNet通过指定的覆盖范围获得了更好的模拟结果，这有助于在实际测试中实现现成的转换。我们将公开我们的数据集。

GitHub - rhett-chen/GPNetContribute to rhett-chen/GPNet development by creating an account on GitHub.https://github.com/rhett-chen/GPNetGitHub - CZ-Wu/GPNetContribute to CZ-Wu/GPNet development by creating an account on GitHub.https://github.com/CZ-Wu/GPNet

25、Category-agnostic Segmentation for Robotic Grasping（2022）

在这项工作中，我们介绍了DoPose，一个高度杂乱和紧密堆叠的对象数据集，用于分割和6D姿态估计。我们展示了如何使用精心选择的合成数据和微调我们的真实数据集，以及一个合理的训练，可以提高现有CNN架构的性能，对真实数据进行归纳，并产生与SOTA方法可比的结果，即使没有后处理或细化。我们的DoPose数据集，网络模型，管道代码和ROS驱动程序都可以在线获得。

GitHub - AnasIbrahim/image_agnostic_segmentationContribute to AnasIbrahim/image_agnostic_segmentation development by creating an account on GitHub.https://github.com/AnasIbrahim/image_agnostic_segmentation

26、A Visually Plausible Grasping System for Object Manipulation and Interaction in Virtual Reality Environments（2019）

在虚拟现实(VR)环境中进行交互是实现愉快的沉浸式体验的必要条件。目前大多数现有的VR应用，缺乏鲁棒的物体抓取和操作，这是交互系统的基石。因此，我们提出了一个现实的、灵活的和鲁棒的抓取系统，可以在虚拟环境中丰富和实时的交互。它在视觉上是逼真的，因为它是完全由用户控制的，它是灵活的，因为它可以用于不同的手部配置，它是健壮的，因为它允许操作对象，无论其几何形状，即手自动适应对象的形状。为了验证我们的建议，我们进行了详尽的定性和定量的性能分析。一方面，对手部运动真实感、交互真实感、运动控制等抽象方面进行定性评价;另一方面，在定量评价方面，提出了一种新的误差度量方法来直观地分析所执行的握把。这个度量是基于从手指指骨到物体表面上最近接触点的距离的计算。这些接触点可以用于不同的应用目的，主要是在机器人领域。综上所述，系统评估报告显示，有虚拟现实应用经验的用户和没有经验的用户的性能相似，学习曲线很陡。

https://github.com/3dperceptionlab/unrealgrasphttps://github.com/3dperceptionlab/unrealgrasp

27、ACRONYM: A Large-Scale Grasp Dataset Based on Simulation（2020）

本文介绍了一个基于物理仿真的机器人抓取规划数据集ACRONYM。该数据集包含17.7M的平行颚抓手，涵盖262个不同类别的8872个物体，每个物体都使用物理模拟器获得的抓手结果进行标记。我们展示了这个大型和多样化的数据集的价值，使用它来训练两个最先进的基于学习的掌握规划算法。与原始较小的数据集相比，抓取性能显著提高。数据和工具可以访问https://sites.google.com/nvidia.com/graspdataset。

GitHub - NVlabs/acronym: This repository contains a sample of the grasping dataset and tools to visualize grasps, generate random scenes, and render observations. The two sample files are in the HDF5 format.https://github.com/NVlabs/acronym

28、A Deep Learning Approach to Grasping the Invisible（2019）

我们研究了机器人操作中出现的“抓取无形物体”问题，机器人通过一系列的推和抓取动作来抓取最初不可见的目标物体。在这个问题中，需要push来搜索目标，并重新排列目标周围杂乱的物体，以实现有效的抓取。我们建议通过制定一个批判政策格式的深度学习方法来解决这个问题。通过深度q -学习，学习目标导向的运动评价，将视觉观察和目标信息映射到推和抓取运动原语的预期未来奖励。我们将问题划分为两个子任务，并通过结合评论家预测和相关领域知识，提出两种策略来解决每个子任务。基于贝叶斯的政策会计对过去的行动经验进行推动搜索目标;一旦目标被发现，基于分类器的策略结合面向目标的推抓，在杂乱中对目标进行抓取。运动评价器和分类器通过机器人与环境的相互作用以自我监督的方式进行训练。我们的系统在仿真中对两个子任务的任务成功率分别达到了93%和87%，在真实机器人实验中对整个问题的任务成功率达到了85%，大大超过了几个基线。补充材料可在https://sites.google.com/umn.edu/grasping-invisible上找到。

https://github.com/choicelab/grasping-invisiblehttps://github.com/choicelab/grasping-invisible

29、Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes（2021）

在无约束、杂乱的环境中抓取看不见的物体是机器人自主操作的一项基本技能。尽管最近在全六自由度抓取学习方面取得了进展，但现有的方法往往包含复杂的顺序管道，这些管道具有几个潜在的故障点和不适合闭环抓取的运行时。因此，我们提出了一种端到端网络，它可以直接从场景的深度记录中有效地生成6自由度平行颚抓取的分布。我们的新型抓取表示将记录的点云中的三维点作为潜在的抓取接触点。通过在观测点云中生根完整的6自由度抓取姿态和宽度，我们可以将我们的抓取表示降维为4自由度，大大方便了学习过程。我们的类不可知论方法训练了1700万个模拟抓取，并很好地推广到真实世界的传感器数据。在一个机器人抓取不可见物体的研究中，我们获得了超过90%的成功率，与最近最先进的方法相比，故障率减少了一半。

GitHub - NVlabs/contact_graspnet: Efficient 6-DoF Grasp Generation in Cluttered Sceneshttps://github.com/NVlabs/contact_graspnet

30、GraspME -- Grasp Manifold Estimator（2021）

在本文中，我们引入了一个抓取流形估计器(Grasp Manifold Estimator, GraspME)来直接检测二维相机图像中物体的抓取支持度。为了能够自主地执行操作任务，对机器人来说，拥有这种周围物体的可抓取性模型是至关重要的。把握流形的优点是提供连续无限多的把握，而使用其他把握表示(如预定义的把握点)则不是这样。例如，可以在运动优化中利用这个属性，将目标集定义为机器人配置空间中的隐式曲面约束。在这项工作中，我们限制自己的情况下，估计可能的末端执行器的位置直接从二维相机图像。在这方面，我们通过一组关键点定义了抓取流形，并使用掩码R-CNN骨干在图像中定位它们。使用学习到的特征可以泛化到不同的视角，潜在的噪声图像和不属于训练集的对象。我们只依赖模拟数据，在简单和复杂的物体上进行实验，包括看不见的物体。我们的框架在GPU上实现了11.5 fps的推断速度，关键点估计的平均精度为94.5%，平均像素距离仅为1.29。这表明我们可以很好地通过边界框和分割蒙板估计对象，以及近似正确地把握流形的关键点坐标。

无代码

31、ContactDB: Analyzing and Predicting Grasp Contact via Thermal Imaging（2019）

抓取和操纵物体是人类的一项重要技能。由于手与物体的接触是抓取的基础，捕捉它可以带来重要的见解。然而，由于遮挡和人手的复杂性，通过外部传感器观察接触具有挑战性。我们提出了ContactDB，一个新的家庭物品接触地图数据集，它捕捉了在抓取过程中发生的丰富的手-物体接触，通过使用热相机实现。在我们的研究中，参与者在抓取3D打印的物体时具有后抓取功能意图。ContactDB包含了50个家庭对象的3750个3D网格，这些对象带有接触贴图纹理，375K帧同步RGB-D+热图像。据我们所知，这是第一个大规模的数据集，记录了人类抓手的详细接触地图。对这些数据的分析显示了功能意图和物体大小对抓握、触摸/避免“活动区域”的倾向以及手掌和手指近端接触的高频率的影响。最后，我们训练了最先进的图像平移和3D卷积算法，以从物体形状预测不同的接触模式。数据、代码和模型可以在https://contactdb.cc.gatech.edu上找到。

GitHub - samarth-robo/contactdb_prediction: Code for CVPR 2019 paper "ContactDB: Analyzing and Predicting Grasp Contact via Thermal Imaging"https://github.com/samarth-robo/contactdb_predictionhttps://github.com/samarth-robo/contactdb_utilshttps://github.com/samarth-robo/contactdb_utils

32、Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands（2020）

许多操作任务，如放置或手内操作，要求对象的姿态相对于机器人的手。当手明显遮挡物体时，这项任务就很困难。这对于适应手来说尤其困难，因为它不容易检测到手指的构型。此外，RGB-only方法面临无纹理对象或手和对象看起来相似的问题。本文提出了一个基于深度的框架，旨在鲁棒的姿态估计和短的响应时间。该方法在手模型与点云重叠最大的情况下，通过高效的并行搜索来检测自适应手的状态。对手的点云进行剪枝，进行鲁棒全局配准，生成目标姿态假设，并对其进行聚类。错误的假设通过物理推理被剔除。在与观测数据一致的情况下，对剩余姿态的质量进行评估。对合成和真实数据的广泛评估表明，当应用于具有挑战性的、高度遮挡的不同对象类型的场景时，该框架的准确性和计算效率。一项消融研究确定了框架的组件如何帮助提高性能。该工作也为手6D目标姿态估计提供了数据集。代码和数据集可以在:https://github.com/wenbowen123/icra20-hand-object-pose获得。

GitHub - wenbowen123/icra20-hand-object-pose: [ICRA 2020] Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Handshttps://github.com/wenbowen123/icra20-hand-object-pose