【AI视野·今日Robot 机器人论文速览 第六十二期】Wed, 25 Oct 2023

AI视野·今日CS.Robotics 机器人学论文速览
Wed, 25 Oct 2023
Totally 25 papers
上期速览✈更多精彩请移步主页

Daily Robotics Papers

EquivAct: SIM(3)-Equivariant Visuomotor Policies beyond Rigid Object Manipulation Authors Jingyun Yang, Congyue Deng, Jimmy Wu, Rika Antonova, Leonidas Guibas, Jeannette Bohg 如果机器人能够熟练折叠厨房毛巾，我们也希望它能够熟练折叠沙滩巾。然而，依赖数据集增强的现有政策学习工作在实现这种泛化水平方面仍然受到限制。我们的见解是为视觉对象表示和策略架构添加等变性。我们提出了 EquivAct，它利用 SIM 3 等变网络结构，保证所有可能的对象平移、3D 旋转和构造缩放的泛化。 EquivAct 的培训分两个阶段进行。我们首先在模拟场景点云上预训练 SIM 3 等变视觉表示。然后，我们使用少量的源任务演示，在预先训练的视觉表示之上学习 SIM 3 等变视觉运动策略。我们证明，训练后，学习到的策略直接转移到与源演示在规模、位置和方向上有很大不同的对象。在模拟中，我们在涉及可变形和铰接物体的三个操纵任务中评估了我们的方法，从而超越了先前作品考虑的典型刚性物体操纵任务。我们表明，我们的方法优于不使用等变架构或不使用对比预训练程序的先前作品。我们还展示了三个真实机器人任务的定量和定性实验，其中机器人观看了二十次桌面任务演示，并将零射击转移到更大设置中的移动操纵任务。

ConvBKI: Real-Time Probabilistic Semantic Mapping Network with Quantifiable Uncertainty Authors Joey Wilson, Yuewei Fu, Joshua Friesen, Parker Ewen, Andrew Capodieci, Paramsothy Jayakumar, Kira Barton, Maani Ghaffari 在本文中，我们开发了一种用于不确定环境中实时语义映射的模块化神经网络，它显式更新神经网络层内每个体素的概率分布。我们的方法将经典概率算法的可靠性与现代神经网络的性能和效率结合起来。尽管机器人感知通常分为现代可微分方法和经典显式方法，但两者的结合对于实时和值得信赖的性能是必要的。我们引入了一种新颖的卷积贝叶斯核推理 ConvBKI 层，该层利用共轭先验，通过深度卷积层将语义分割预测在线合并到 3D 地图中。我们将 ConvBKI 与最先进的深度学习方法和概率算法进行比较，以进行映射以评估可靠性和性能。

Human-in-the-Loop Task and Motion Planning for Imitation Learning Authors Ajay Mandlekar, Caelan Garrett, Danfei Xu, Dieter Fox 从人类演示中进行模仿学习可以教会机器人复杂的操作技能，但既费时又费力。相比之下，任务和运动规划 TAMP 系统是自动化的，擅长解决长期任务，但它们很难应用于接触丰富的任务。在本文中，我们提出了人机循环任务和运动规划 HITL TAMP，这是一种利用这两种方法优点的新颖系统。该系统采用 TAMP 门控控制机制，有选择地向人类远程操作员提供控制权或从人类远程操作员那里获取控制权。这使得人类远程操作员能够管理一组机器人，从而最大限度地提高数据收集效率。然后，将收集到的人类数据与模仿学习框架相结合来训练 TAMP 门控策略，从而与完整任务演示的训练相比获得更优异的性能。我们将 HITL TAMP 与传统远程操作系统进行了比较，在相同的时间预算下，用户收集的演示数量是其 3 倍以上。此外，只需 10 分钟的非专家远程操作数据即可训练出熟练的代理 75 成功。最后，我们收集了 2.1K 个 HITL TAMP 演示，涉及 12 个接触丰富的长期任务，并表明该系统通常会产生近乎完美的代理。

GO-FEAP: Global Optimal UAV Planner Using Frontier-Omission-Aware Exploration and Altitude-Stratified Planning Authors Weiye Zhang, Wenshuai Yu, Licong Zhuang, Xiaoyi Zhang, Zhi Zeng, Jiasong Zhu 自主探索是无人机各种应用的一个基本问题。然而，现有的方法被证明是静态局部最优和二维探索。为了应对这些挑战，本文引入了利用前沿遗漏感知探索和高度分层规划的GO FEAP全局最优无人机规划器，旨在实现高效、完整的三维探索。本文提出的前沿遗漏感知探索模块考虑了多个关键因素，包括前沿距离、附近前沿数量、前沿持续时间和前沿分类，以全面评估前沿重要性。此外，为了应对垂直变化较大的场景，我们引入了海拔分层规划策略，该策略根据海拔高度对三维空间进行分层，对每一层进行全局局部规划。全局规划的目标是确定最优的探索前沿，然后根据前沿类型进行视点选择和局部路径优化，最终生成动态可行的三维空间探索轨迹。

AO-Grasp: Articulated Object Grasp Generation Authors Carlota Par s Morlans, Claire Chen, Yijia Weng, Michelle Yi, Yuying Huang, Nick Heppert, Linqi Zhou, Leonidas Guibas, Jeannette Bohg 我们引入了 AO Grasp，一种抓取建议方法，可为铰接物体生成稳定且可操作的 6 自由度抓取。我们生成的抓取使机器人能够与铰接式物体交互，例如打开和关闭橱柜和电器。给定单个铰接物体的分段部分点云，AO Grasp 使用新颖的可操作抓取点预测器模型预测物体上的最佳抓取点，然后利用最先进的刚性物体抓取方法找到每个点相应的抓取方向。我们在新的 AO Grasp 数据集上训练 AO Grasp，该数据集包含合成铰接物体上的 48K 个可操作的平行颌抓取。在模拟中，AO Grasp 在训练和测试类别上均实现了比现有刚性物体抓取和铰接式物体交互基线更高的抓取成功率。

Data-Driven Modeling and Analysis of Transmission Error in Harmonic Drive Systems: Nonlinear Dynamics, Error Modeling, and Compensation Techniques Authors Ju Wu, Philippe Louis Schuchert, Alireza Karimi 谐波驱动系统 HDS 是高精度机器人变速器，具有紧凑的尺寸和高传动比。然而，运动传动误差等问题阻碍了它们的精度性能。本文重点介绍 HDS 的数据驱动建模和分析，以改进运动误差补偿。背景介绍了 HDS 力学、非线性属性和文献中的建模方法。 HDS 动力学是使用拉格朗日方程导出的。在恶劣条件下进行的实验提供了表现出确定性模式的训练数据。已经开发了各种线性和非线性模型。性能最佳的模型基于非线性神经网络，在训练和验证数据集上的一步预测精度均达到 98 以上。唯象模型将运动误差分为周期性纯部分和柔性部分。除了实现估计的传输误差注入补偿之外，还分析并提出了新的运动误差补偿机制策略，包括非线性模型预测控制和频率环整形。通过分析反馈环路来选择用于减轻振动的控制器。主要贡献包括非线性动力学推导、数据驱动的柔性运动误差非线性建模、可重复实验设计以及提出的新颖补偿机制和策略。

A Resilient Framework for 5G-Edge-Connected UAVs based on Switching Edge-MPC and Onboard-PID Control Authors Gerasimos Damigos, Achilleas Santi Seisa, Sumeet Gajanan Satpute, Tore Lindgren, George Nikolakopoulos 近年来，移动机器人对计算复杂度高的处理过程的资源需求变得越来越迫切。更具体地说，机器人需要以稳健和连续的方式自主操作，同时保持高性能，这一需求导致利用边缘计算来卸载许多计算要求高且时间关键的机器人程序。然而，应实施安全机制来处理无法使用卸载过程的情况，例如通信受到挑战或边缘集群不可用。为此，本文提出了一种通过基于边缘计算的模型预测控制器 MPC 和用于边缘连接无人机的低级机载 PID 控制器实现安全、冗余和优化行为的切换策略。

Optimal Spatial-Temporal Triangulation for Bearing-Only Cooperative Motion Estimation Authors C. L. Zheng, Y. Z. Mi, H. Q. Guo, H. B. Chen, Z. Y. Lin, S. Y. Zhao 基于视觉的协作运动估计是许多多机器人系统（例如协作空中目标追踪）的一个重要问题。这个问题可以表述为仅方位协作运动估计，其中视觉测量被建模为从相机指向目标的方位矢量。传统的纯承载协同估计方法主要基于分布式卡尔曼滤波DKF框架。在本文中，我们提出了一种新的仅最优方位协作估计算法，称为时空三角测量，基于分布式递归最小二乘法，它为设计分布式估计器提供了比 DKF 更灵活的框架。算法的设计充分结合了所有可用的信息和特定的三角测量几何约束。因此，经数值模拟验证，该算法在精度和收敛速度方面都比最先进的 DKF 算法具有更优越的估计性能。我们严格证明了所提出算法的指数收敛性。

navlie: A Python Package for State Estimation on Lie Groups Authors Charles Champagne Cossette, Mitchell Cohen, Vassili Korotkine, Arturo del Castillo Bernal, Mohammed Ayman Shalaby, James Richard Forbes 快速测试任意状态估计任务的各种算法的能力在导航系统的原型设计阶段非常有价值。李群理论现在是机器人社区的主流，因此估计原型工具应该允许属于流形的状态定义。一个名为 navlie 的新包提供了一个框架，允许用户通过实现一组符合通用接口的类来对一大类问题进行建模。一旦完成，navlie 提供了各种可以直接在这些类上运行的流形估计算法。该软件包还提供了内置的常见模型库以及许多有用的实用程序。

DACOOP-A: Decentralized Adaptive Cooperative Pursuit via Attention Authors Zheng Zhang, Dengyu Zhan, Qingrui Zhang, Wei Pan, Tianjiang Hu 将基于规则的策略集成到强化学习中有望提高合作追踪问题的数据效率和泛化能力。然而，大多数实现没有正确区分相邻机器人在观察嵌入或机器人间交互规则中的影响，导致信息丢失和低效合作。本文通过利用人工势场和注意力机制增强强化学习，提出了一种名为“Decentralized Adaptive COOperative Pursuit via Attention DACOOP A”的合作追踪算法。开发了一个基于注意力的框架，通过将学习到的注意力分数同时集成到观察嵌入和机器人间交互规则中来强调重要的邻居。引入 KL 散度正则化来缓解由此产生的学习稳定性问题。通过数值模拟证明了数据效率和泛化能力的提高。进行了广泛的定量分析和消融研究，以说明所提出的模块的优点。

Graph-based Trajectory Prediction with Cooperative Information Authors Jan Strohbeck, Sebastian Maschke, Max Mertens, Michael Buchholz 对于自动驾驶来说，在复杂的交通情况下预测其他道路使用者的未来轨迹是一个难题。现代神经网络使用交通参与者过去的轨迹以及地图数据来收集有关可能的驾驶员意图和可能的操作的提示。随着汽车和其他交通参与者之间的连通性不断增强，合作信息是可用作轨迹预测算法输入的另一个数据源。连接的参与者可能会将其预期路径甚至完整的计划轨迹传输给其他参与者，这简化了由于强加的约束而导致的预测问题。在这项工作中，我们概述了使用该数据源进行轨迹预测的好处，并提出了一种基于图的神经网络架构，可以利用这些附加数据。我们表明，如果存在协作数据，网络性能将大幅提高。此外，我们提出的训练方案即使在没有可用合作信息的情况下也可以提高网络的性能。

Robot-Relay : Building-Wide, Calibration-Less Visual Servoing with Learned Sensor Handover Network Authors Luke Robinson, Matthew Gadd, Paul Newman, Daniele De Martini 我们提出了一个系统，该系统可以在新安装的摄像机网络或新部署的机器人车队的自然安装周期中增长和管理远程视点网络。不需要相机位置或方向的明确概念，既不是全局（即相对于建筑平面图）也不是局部（即相对于房间中的有趣点）。此外，不需要观点之间的度量关系。相反，我们利用之前在有效远程控制方面的工作，无需外部或内部校准，并将其扩展到多相机设置。在此，我们通过跟踪器线程中的同步机器人检测来记住视点之间的软像素拓扑连接。

tagE: Enabling an Embodied Agent to Understand Human Instructions Authors Chayan Sarkar, Avik Mitra, Pradip Pramanick, Tapas Nayak 当具有实际存在的智能体与人类互动时，自然语言是主要的沟通方式。虽然大量研究都集中在自然语言理解 NLU 上，包括情感分析、意图预测、问题回答和摘要等工作，但 NLU 针对需要实体采取具体行动的情况的范围仍然有限。自然语言固有的模糊性和不完整性给努力破译人类意图的智能体带来了挑战。为了解决这一困境，我们引入了一种新颖的系统，称为体现代理 tagE 的任务和论证基础。我们的系统的核心采用了一种创造性的神经网络模型，旨在从以自然语言表达的复杂任务指令中提取一系列任务。我们提出的模型采用了一个富含嵌套解码的编码器解码器框架，可以有效地从这些复杂的指令中提取任务及其相应的参数。然后，这些提取的任务被映射或扎根于机器人已建立的技能集合，而论点则以环境中存在的物体为基础。为了促进我们系统的训练和评估，我们策划了一个具有复杂指令的数据集。

Grasp Multiple Objects with One Hand Authors Yuyang Li, Bo Liu, Yiran Geng, Puhao Li, Yaodong Yang, Yixin Zhu, Tengyu Liu, Siyuan Huang 人手复杂的运动学允许同时抓取和操纵多个物体，这对于物体转移和手动操纵等任务至关重要。尽管机器人多物体抓取很重要，但它仍然未被充分探索，并且在运动学、动力学和物体配置方面提出了挑战。本文介绍了 MultiGrasp，这是一种用多指灵巧手在桌面上抓取多个物体的两阶段方法。它涉及生成预抓取建议以及执行抓取和举起物体。实验结果主要集中在双物体抓取上，成功率为 44.13，展示了对看不见的物体配置和不精确抓取的适应性。

Learning Agility and Adaptive Legged Locomotion via Curricular Hindsight Reinforcement Learning Authors Sicen Li, Yiming Pang, Panju Bai, Zhaojin Liu, Jiawei Li, Shihao Hu, Liquan Wang, Gang Wang 敏捷和适应性动作，例如跌倒恢复、高速转弯和野外冲刺，对腿式系统来说是具有挑战性的。我们提出了一种课程后见之明强化学习 CHRL，它学习端到端跟踪控制器，为腿式机器人实现强大的敏捷性和适应性。这两个关键组成部分是：针对任务难度的新型自动课程策略；以及适用于腿式运动任务的事后体验重放策略。我们在真正的四足机器人上展示了成功的敏捷和自适应运动，该机器人可以自主执行跌倒恢复、连贯小跑、高达 3.45 米·秒的持续户外速度以及高达 3.2 拉德·秒的调谐速度。

Containerized Vertical Farming Using Cobots Authors Dasharadhan Mahalingam, Aditya Patankar, Khiem Phi, Nilanjan Chakraborty, Ryan McGann, IV Ramakrishnan 集装箱垂直农业是一种使用水培法的垂直农业实践，其中植物在移动集装箱内垂直分层生长。集装箱内的空间限制使得不同农业作业的自动化具有挑战性。在本文中，我们探索使用协作机器人（即协作机器人）来实现两项关键农业操作的自动化，即树苗的移植和生长植物的收获。我们的方法使用农民的单个演示来提取与任务（即移植和收获）相关的运动约束，然后可以推广到同一任务的不同实例。对于移植，运动约束在将树苗插入生长管期间出现，而对于收获，运动约束在从生长管中拔出期间出现。

How language of interaction affects the user perception of a robot Authors Barbara Sienkiewicz, Gabriela Sejnova, Paul Gajewski, Michal Vavrecka, Bipin Indurkhya 口语是人类与机器人交流的最自然的方式。机器人应该用用户的母语与用户交流，这似乎很直观。

Fast Path Planning for Autonomous Vehicle Parking with Safety-Guarantee using Hamilton-Jacobi Reachability Authors Xuemin Chi, Jun Zeng, Jihao Huang, Zhitao Liu, Hongye Su 我们提出了一种称为基于 Hamilton Jacobi 的双向 A HJBA 的快速规划架构，用于解决一般紧张的停车场景。该算法是由高层基于 HJ 的可达性分析和低层双向 A 搜索算法组成的两层算法。在高级可达性分析中，通过HJ分析计算与车辆动力学有关的向后可达管BRT，并将其与安全集相交以获得安全可达集。安全集由环境中障碍物的正符号距离约束定义，并通过离线求解 QP 优化问题来计算。对于交集内的状态，即安全可达集，计算出的后向可达管确保它们在系统动力学和输入边界下是可达的，并且安全集保证它们满足针对不同形状的障碍物的停车安全性。对于在线计算，从安全可达集中采样随机状态，并用作双向 A 搜索中要考虑的启发式指导点。对于安全可达集中的每个随机状态，双向 A 搜索是并行的。我们表明，所提出的二级规划算法能够针对典型的停车请求有效且快速地解决不同的停车场景。

Finetuning Offline World Models in the Real World Authors Yunhai Feng, Nicklas Hansen, Ziyan Xiong, Chandramouli Rajagopalan, Xiaolong Wang 众所周知，强化学习 RL 的数据效率低下，这使得在真实机器人上进行训练变得困难。虽然基于模型的 RL 算法世界模型在一定程度上提高了数据效率，但它们仍然需要数小时或数天的交互来学习技能。最近，离线强化学习被提出作为在现有数据集上训练强化学习策略的框架，无需任何在线交互。然而，将算法限制在固定数据集上会导致训练和推理之间的状态动作分布发生变化，并限制其对新任务的适用性。在这项工作中，我们寻求两全其美，我们考虑使用在真实机器人上收集的离线数据预训练世界模型的问题，然后根据学习模型规划收集的在线数据对模型进行微调。为了减少在线交互过程中的外推误差，我们建议通过平衡估计回报和认知模型不确定性来在测试时规范规划器。我们在模拟中和真实机器人上的各种视觉电机控制任务上评估我们的方法，发现即使离线数据有限，我们的方法也能对可见和未见的任务进行很少的镜头微调。

TimewarpVAE: Simultaneous Time-Warping and Representation Learning of Trajectories Authors Travers Rhodes, Daniel D. Lee 人类轨迹演示是许多机器学习问题的训练数据的重要来源。然而，收集复杂任务的人类演示数据的困难使得学习这些轨迹的有效表示具有挑战性。对于许多问题，例如手写或准静态灵巧操作，轨迹的确切时间应根据其空间路径特征来考虑。在这项工作中，我们提出了 TimewarpVAE，一种完全可微的流形学习算法，它结合了动态时间扭曲 DTW，可以同时学习时间变化和空间变化的潜在因素。我们展示了 TimewarpVAE 算法如何在小型手写和叉子操作数据集中学习适当的时间对齐和空间变化的有意义的表示。

AdaptiX -- A Transitional XR Framework for Development and Evaluation of Shared Control Applications in Assistive Robotics Authors Max Pascher, Felix Ferdinand Goldau, Kirill Kronhardt, Udo Frese, Jens Gerken 随着为行动障碍人士提供帮助的不断努力以及公众对技术接受度的提高，辅助技术（例如协作机器人手臂）越来越受欢迎。然而，它们的广泛成功受到可用性问题的限制，特别是沿自治连续体的用户输入和软件控制之间的差异。为了解决这个问题，共享控制概念提供了将有针对性地增加用户自主权与一定程度的计算机辅助相结合的机会。本文介绍了免费开源的 AdaptiX XR 框架，用于在高分辨率仿真环境中开发和评估共享控制应用程序。最初的框架由一个带有虚拟现实 VR 示例场景的模拟机械臂、多个标准控制接口和一个专门的记录重放系统组成。 AdaptiX 可以轻松扩展以满足特定的研究需求，使人机交互 HRI 研究人员能够快速设计和测试新颖的交互方法、干预策略和多模式反馈技术，而无需在构思、原型设计的早期阶段使用实际的物理机械臂，和评价。此外，机器人操作系统 ROS 集成可以通过 PhysicalTwin 方法控制真实的机械臂，而不会产生任何模拟现实差距。在这里，我们详细回顾了 AdaptiX 的功能和局限性，并介绍了基于该框架的三个研究机构。

Is a humorous robot more trustworthy? Authors Barbara Sienkiewicz, Bipin Indurkhya 随着越来越多的社交机器人被用于与人类进行协作活动，研究促进人类机器人交互信任的机制至关重要。其中一种机制是幽默，它已被证明可以提高人际互动中的创造力和生产力，这对信任有间接影响。在这项研究中，我们调查幽默是否可以增加对人机交互的信任。我们对 40 名参与者进行了受试者间实验，看看参与者是否更有可能接受机器人在三张牌蒙特游戏中的建议，作为信任检查任务。尽管我们无法发现幽默的显着影响，但我们讨论了可能的混杂变量的影响，并报告了我们研究中的一些有趣的定性观察结果，例如，参与者作为团队成员与机器人进行了有效的互动，无论幽默如何

Cross-view Self-localization from Synthesized Scene-graphs Authors Ryogo Yamamoto, Kanji Tanaka 跨视图自定位是视觉位置识别的一个具有挑战性的场景，其中数据库图像是从稀疏视点提供的。最近，出现了一种使用 NeRF 神经辐射场技术从看不见的视点合成数据库图像的方法，其性能令人印象深刻。然而，这些技术提供的合成图像的质量通常低于原始图像，而且它们显着增加了数据库的存储成本。在本研究中，我们探索了一种新的混合场景模型，该模型结合了从原始图像计算的视图不变外观特征和从合成图像计算的视图相关空间语义特征的优点。然后将这两类特征融合到场景图中，并由图神经网络进行压缩学习和识别。

How to Train Your Neural Control Barrier Function: Learning Safety Filters for Complex Input-Constrained Systems Authors Oswin So, Zachary Serlin, Makai Mann, Jake Gonzales, Kwesi Rutledge, Nicholas Roy, Chuchu Fan 控制屏障函数 CBF 作为安全滤波器已变得流行，可保证任意输入的非线性动力系统的安全性。然而，对于具有输入约束的高相关度系统，构造满足CBF约束的函数是很困难的。为了应对这些挑战，最近的工作探索了通过神经 CBF NCBF 使用神经网络学习 CBF。然而，在输入约束下扩展到更高维度的系统时，此类方法面临困难。在这项工作中，我们首先确定 NCBF 在培训期间面临的挑战。接下来，为了解决这些挑战，我们提出了策略神经CBF PNCBFs，一种通过学习名义策略的价值函数来构建CBF的方法，并证明最大随时间成本的价值函数是CBF。我们证明了我们的方法在各种系统（从玩具线性系统到具有 16 维状态空间的 F 16 喷气式飞机）的仿真中的有效性。

Course Correcting Koopman Representations Authors Mahan Fathi, Clement Gehring, Jonathan Pilault, David Kanaa, Pierre Luc Bacon, Ross Goroshin 库普曼表示旨在学习非线性动力系统 NLDS 的特征，从而导致潜在空间中的线性动力学。理论上，这些特征可以用来简化NLDS建模和控制中的许多问题。在这项工作中，我们研究了这个问题的自动编码器公式，以及它们用于动态建模的不同方式，特别是用于长期的未来状态预测。我们发现了预测潜在空间中的未来状态的一些局限性，并提出了一种推理时间机制，我们将其称为周期性重新编码，以忠实地捕获长期动态。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com