【AI视野·今日Robot 机器人论文速览 第四十一期】Tue, 26 Sep 2023

AI视野·今日CS.Robotics 机器人学论文速览
Tue, 26 Sep 2023
Totally 73 papers
上期速览✈更多精彩请移步主页

Daily Robotics Papers

Extreme Parkour with Legged Robots Authors Xuxin Cheng, Kexin Shi, Ananye Agarwal, Deepak Pathak 人类可以通过以高度动态的方式穿越障碍物来进行跑酷，这需要精确的眼部肌肉协调和运动。让机器人完成同样的任务需要克服类似的挑战。传统上，这是通过独立设计感知、驱动和控制系统以达到非常低的公差来完成的。这将它们限制在严格控制的环境中，例如实验室中预定的障碍训练场。相比之下，人类能够通过练习来学习跑酷，而不会显着改变其潜在的生物学特性。在本文中，我们采用类似的方法在小型低成本机器人上开发机器人跑酷，该机器人具有不精确的驱动和用于感知的单个前置深度摄像头，但频率低、抖动且容易出现伪影。我们展示了直接从相机图像运行的单个神经网络策略，通过大规模 RL 进行模拟训练，可以克服不精确的传感和驱动，以端到端地输出高度精确的控制行为。我们展示了我们的机器人可以在 2 倍高度的障碍物上进行跳高，跨越 2 倍长度的间隙跳远，倒立并跑过倾斜的坡道，并推广到具有不同物理特性的新颖障碍路线。

Human-Assisted Continual Robot Learning with Foundation Models Authors Meenal Parakh, Alisha Fong, Anthony Simeonov, Abhishek Gupta, Tao Chen, Pulkit Agrawal 大型语言模型法学硕士已被证明就像规划器一样，可以将高级指令分解为一系列可执行指令。然而，目前的法学硕士规划师只能使用一套固定的技能进行操作。我们克服了这一关键限制，并提出了一种使用基于 LLM 的规划器来查询新技能并以数据和时间有效的方式向机器人传授这些技能以进行刚性物体操作的方法。我们的系统可以将新获得的技能重新用于未来的任务，展示了开放世界和终身学习的潜力。我们在模拟和现实世界中的多个任务上评估所提出的框架。

MUTEX: Learning Unified Policies from Multimodal Task Specifications Authors Rutav Shah, Roberto Mart n Mart n, Yuke Zhu 人类使用不同的方式，例如语音、文本、图像、视频等，与队友交流他们的意图和目标。为了让机器人成为更好的助手，我们的目标是赋予它们遵循指令并理解人类伙伴指定的任务的能力。大多数机器人策略学习方法都专注于任务规范的单一模态，而忽略了丰富的跨模态信息。我们提出了 MUTEX，一种从多模态任务规范进行策略学习的统一方法。它训练基于变压器的架构以促进跨模态推理，在两阶段训练过程中结合掩模建模和跨模态匹配目标。训练后，MUTEX 可以遵循六种学习模式中任何一种的任务规范：视频演示、目标图像、文本目标描述、文本指令、语音目标描述和语音指令或其组合。我们在新设计的数据集中系统地评估了 MUTEX 的优势，该数据集包含 100 个模拟任务和 50 个现实世界任务，并以不同模态的任务规范的多个实例进行注释，并观察到与专门针对任何单一模态训练的方法相比性能有所提高。

Unwieldy Object Delivery with Nonholonomic Mobile Base: A Stable Pushing Approach Authors Yujie Tang, Hai Zhu, Susan Potters, Martijn Wisse, Wei Pan 本文解决了非完整移动机器人的推动操纵问题。推动是一项基本技能，使机器人能够移动无法抓取的笨重物体。我们提出了一种稳定的推动方法，可以保持机器人和物体之间的刚性接触，以避免消耗重新定位动作。我们证明，非完整机器人实现稳定推动需要线接触，而不是单点接触。我们还表明，机器人的稳定推动约束和非完整约束可以简化为简洁的线性运动约束。然后，可以使用非线性模型预测控制 NMPC 将推送规划问题表示为约束优化问题。根据实验，我们基于 NMPC 的规划器在效率方面优于反应式推动策略，将机器人的行驶距离减少了 23.8 倍，时间减少了 77.4 倍。此外，我们的方法比线性时变 LTV MPC 方法需要更少的四个超参数和决策变量，从而更容易实现。

Spring-IMU Fusion Based Proprioception for Feedback Control of Soft Manipulators Authors Yinan Meng, Guoxin Fang, Jiong Yang, Yuhu Guo, Charlie C.L. Wang 本文提出了一种新的框架来实现软机械臂的本体感觉和闭环控制。借助机器学习技术，可以使用从感应弹簧和惯性测量单元 IMU 获得的基于几何的传感器信号来精确预测大伸长和大弯曲的变形。将多个几何信号融合为鲁棒的位姿估计，并将模拟策略应用于实际迁移后，实现了数据高效的训练过程。因此，我们可以实现对外部负载变化具有鲁棒性的本体感觉，并且在气动驱动的软机械臂上整个工作空间的平均误差为 0.7。然后，在软机械臂上实现的本体感觉有助于构建基于传感器空间的闭环控制算法。开发了梯度下降求解器，通过迭代计算参考传感器信号序列来驱动末端执行器实现所需的姿势。我们的算法的内循环中采用了传统的控制器来更新执行器，即用于接近传感器空间中的参考信号的腔室中的压力。

Perception-and-Energy-aware Motion Planning for UAV using Learning-based Model under Heteroscedastic Uncertainty Authors Reiya Takemura, Genya Ishigami 全球导航卫星系统 GNSS 受阻的环境条件要求无人机能够高效节能且可靠地飞行。为此，本研究提出了 GNSS 拒绝环境中无人机的感知和能量感知运动规划。所提出的规划器通过优化由两个指标组成的成本函数来解决轨迹规划问题：无人机的总能耗和安装在无人机上的光检测和测距激光雷达传感器的感知质量。在在线导航之前，高保真模拟器会获取飞行数据集，以了解无人机的能耗以及与 LiDAR 测量相关的异方差不确定性，两者都是无人机水平速度的函数。学习到的模型使在线规划器能够估计能耗和感知质量，从而减少无人机电池的使用和定位错误。在真实环境中进行的模拟实验证实，所提出的规划器可以在异方差不确定性下解决能源效率和感知质量之间的权衡。

The Hydra Hand: A Mode-Switching Underactuated Gripper with Precision and Power Grasping Modes Authors Digby Chappell, Fernando Bello, Petar Kormushev, Nicolas Rojas 人手能够抓取各种尺寸、形状和重量的物体，这是通过重塑和改变顺从力量和刚性精度之间的表观抓取刚度来实现的。在机器人手中实现类似的多功能性仍然是一个挑战，通常通过添加额外的可控自由度、触觉传感器或专门的额外抓取硬件来解决这个问题，但代价是控制复杂性和鲁棒性。我们推出了一种新型可重构四指双执行器欠驱动抓手 Hydra Hand，它使用单个电机在顺应动力和刚性精确抓取之间切换，同时通过单个液压执行器产生抓握，在手指对之间表现出自适应抓握，从而实现两个物体的动力抓握同时地。介绍并分析了模式切换机构和手的运动学，并在两个抓取基准上测试了性能，一个针对刚性物体，另一个针对服装。 Hydra Hand 表现出擅长抓取大型和不规则物体，以及具有各自柔顺功率和刚性精度配置的小型物体。

Industrial Application of 6D Pose Estimation for Robotic Manipulation in Automotive Internal Logistics Authors Philipp Quentin, Dino Knoll, Daniel Goehring 尽管机器人技术取得了进步，汽车行业内部物流中的大部分零件处理任务都不是自动化的，而是仍然由人类执行。使这些过程实现竞争性自动化的一个关键组件是 6D 姿态估计，它可以处理大量不同的零件，只需很少的手动工作即可适应新零件，并且对于行业要求而言足够准确和稳健。在这种情况下，就出现了这些措施的现状问题。为了解决这个问题，我们构建了一个具有代表性的 6D 姿态估计管道，其中包含从经济可扩展的真实数据生成到合成数据生成到姿态估计器的最先进组件，并根据真实的排序过程在汽车零件上对其进行了评估。我们发现，使用数据生成方法，经过训练的 6D 姿态估计器的性能很有希望，但不满足行业要求。我们揭示了其原因是估计器无法为其姿势提供可靠的不确定性，而不是提供足够准确的姿势的能力。

Learning Risk-Aware Quadrupedal Locomotion using Distributional Reinforcement Learning Authors Lukas Schneider, Jonas Frey, Takahiro Miki, Marco Hutter 在危险环境中部署需要机器人了解与其行为和动作相关的风险，以防止发生事故。尽管这些风险很重要，但目前部署的腿式机器人运动控制器并未明确模拟这些风险。在这项工作中，我们提出了一种风险敏感的运动训练方法，采用分布式强化学习来明确考虑安全性。我们不依赖价值期望，而是估计完整的价值分布，以解释机器人与环境交互的不确定性。风险度量使用价值分布来提取风险敏感价值估计。这些被集成到近端策略优化 PPO 中以派生我们的方法，分布式近端策略优化 DPPO 。风险偏好，从风险规避到风险寻求，可以通过单个参数进行控制，从而能够动态调整机器人的行为。重要的是，我们的方法不需要额外的奖励函数调整来实现风险敏感性。

Hierarchical Reinforcement Learning based on Planning Operators Authors Jing Zhang, Karinne Ramirez Amaro 堆叠等长视野操作任务是机器人操作领域长期存在的挑战，特别是在使用强化学习 RL 方法时，这些方法通常很难学习实现这些复杂目标的正确动作顺序。为了学习这个序列，符号规划方法提供了基于高级推理的良好解决方案，但是规划者通常无法解决精确执行所需的低级控制特异性。本文介绍了一种新颖的框架，通过高层算子和低层策略的合作，将符号规划与分层强化学习相结合。我们的贡献整合了规划运营商，例如前提条件和效果作为基于计划辅助控制 SAC X 方法的分层 RL 算法的一部分。我们开发了一个双重用途的高级运算符，它既可以用于整体规划，也可以用作独立的、可重用的策略。我们的方法为长期任务（例如堆叠立方体）提供了灵活的解决方案。实验结果表明，我们提出的方法在学习和执行整个堆栈序列方面获得了平均 97.2 的成功率，并且在学习独立策略（例如

Daily Assistive Modular Robot Design Based on Multi-Objective Black-Box Optimization Authors Kento Kawaharazuka, Tasuku Makabe, Kei Okada, Masayuki Inaba 机器人的活动范围正在从固定环境的行业扩展到多样化和变化的环境，例如护理支持和日常生活支持。特别是，需要自主构建针对每个用户和任务进行个性化的机器人。因此，我们开发了一种执行器模块，该模块可以重新配置为各种连杆配置，可以使用锁定机构承载重物，并且可以使用释放机构通过人工教学轻松操作。给定多个目标坐标，树状结构的 Parzen Estimator TPE（一种黑盒优化）会自动生成满足这些坐标并最小化所需扭矩的模块化机器人配置。

HumanMimic: Learning Natural Locomotion and Transitions for Humanoid Robot via Wasserstein Adversarial Imitation Authors Annan Tang, Takuma Hiraoka, Naoki Hiraoka, Fan Shi, Kento Kawaharazuka, Kunio Kojima, Kei Okada, Masayuki Inaba 将人类运动技能转移到人形机器人仍然是一个重大挑战。在这项研究中，我们引入了 Wasserstein 对抗性模仿学习系统，允许人形机器人复制自然的全身运动模式，并通过模仿人类动作来执行无缝转换。首先，我们提出了一种统一的原始骨架运动重定向，以减轻任意人类演示者和人形机器人之间的形态差异。对抗性批评组件与强化学习 RL 集成，以指导控制策略产生与混合参考运动的数据分布一致的行为。此外，我们采用特定的积分概率度量 IPM，即具有新颖软边界约束的 Wasserstein 1 距离来稳定训练过程并防止模型崩溃。我们的系统在模拟器中的全尺寸人形 JAXON 上进行评估。由此产生的控制策略展示了广泛的运动模式，包括站立、推力恢复、蹲下行走、类似人类的直腿行走和动态跑步。

QuadricsNet: Learning Concise Representation for Geometric Primitives in Point Clouds Authors Ji Wu, Huai Yu, Wen Yang, Gui Song Xia 本文提出了一种新颖的框架来学习 3D 点云的简洁几何基元表示。与单独表示每种类型的图元不同，我们关注的是如何稳健地实现简洁且统一的表示这一具有挑战性的问题。我们使用二次曲面来表示仅具有 10 个参数的不同基元，并提出了第一个基于端到端学习的框架，即 QuadricsNet，用于解析点云中的二次曲面。二次曲面数学公式与几何属性（包括类型、尺度和位姿）之间的关系被深入地整合起来，以实现 QuaidricsNet 的有效监督。此外，还收集了具有二次曲面段和对象的新型模式综合数据集用于训练和评估。实验证明了我们简洁表示的有效性和 QuadricsNet 的鲁棒性。

Learned Contextual LiDAR Informed Visual Search in Unseen Environments Authors Ryan Gupta, Kyle Morgenstein, Steven Ortega, Luis Sentis 本文介绍了 LIVES LiDAR Informed Visual Search，这是一种针对未知环境的自主规划器。我们考虑像素级环境感知问题，其中给出来自 LiDAR 扫描的 2D 范围数据，并且必须将点上下文标记为周围环境中的地图或非地图，以进行视觉规划。 LIVES 在没有事先地图信息的情况下，对来自宽视场 FoV LiDAR 的传入 2D 扫描进行分类。地图可概括分类器是根据在真实环境中配备基于地图的分类器的简单购物车平台收集的专家数据进行训练的。视觉规划器从扫描中获取上下文数据，并使用该信息来规划更有可能检测到搜索目标的视点。虽然传统的基于前沿的激光雷达和多传感器探索方法可以有效地绘制环境图，但它们并不适合搜索室内人员，我们在本文中对此进行了研究。 LIVES 以几种现有的模拟探索方法为基准，以验证其性能。最后，它在 20x30 米室内公寓环境中使用 Spot 机器人进行的现实实验中得到了验证。

Preferential Multi-Target Search in Indoor Environments using Semantic SLAM Authors Akash Chikhalikar, Ankit A. Ravankar, Jose Victorio Salazar Luces, Yasuhisa Hirata 近年来，对能够执行自主导航之外的任务的服务机器人的需求不断增长。未来，服务机器人将有望执行复杂的任务，例如准备晚餐。像这样的高级任务，除了其他能力之外，还需要检索多个目标的能力。本文深入研究了在环境中定位多个目标的挑战，称为“查找我的对象”。我们提出了一种新颖的启发式算法，旨在帮助机器人优先搜索室内空间中的多个目标。我们的方法涉及语义 SLAM 框架，该框架将语义对象识别与几何数据相结合以生成多层地图。我们将语义图与概率先验融合以进行有效的推理。认识到障碍物带来的挑战可能会模糊导航目标并使标准点对点导航策略不太可行，我们的方法为这些因素提供了弹性。重要的是，我们的方法适用于各种物体检测器、RGB D SLAM 技术和本地导航规划器。我们在现实世界的室内环境中演示了“查找我的对象”任务，产生的定量结果证明了我们方法的有效性。

Co-Design Optimisation of Morphing Topology and Control of Winged Drones Authors Fabio Bergonti, Gabriele Nava, Valentin W est, Antonello Paolino, Giuseppe L Erario, Daniele Pucci, Dario Floreano 有翼飞机和无人机的设计和控制是一个迭代过程，旨在确定任务特定成本和限制的折衷方案。当需要敏捷性时，变形无人机是一种有效的解决方案。然而，变形无人机需要添加驱动关节，从而增加拓扑和控制耦合，使设计过程更加复杂。我们提出了一种协同设计优化方法，通过提出变形无人机的概念设计来帮助工程师，其中包括拓扑、驱动、变形策略和控制器参数。该方法包括将基于多目标约束的优化应用于具有轨迹优化的多体翼无人机，以解决不同飞行任务要求下的运动智能问题。

SPOTS: Stable Placement of Objects with Reasoning in Semi-Autonomous Teleoperation Systems Authors Joonhyung Lee, Sangbeom Park, Jeongeun Park, Kyungjae Lee, Sungjoon Choi 拾取和放置是机器人研究的基本任务之一。然而，人们的注意力主要集中在挑选任务上，而相对而言，地点任务尚未得到探索。在本文中，我们解决了将对象放置在远程操作框架的上下文中的问题。特别是，我们关注地点任务稳定性鲁棒性和对象放置的上下文合理性两个方面。我们提出的方法结合了通过真实到模拟的模拟驱动的物理稳定性验证和大型语言模型的语义推理能力。换句话说，给定地点上下文信息，例如用户偏好、地点对象和当前场景信息，考虑到地点任务的鲁棒性和合理性，我们提出的方法输出可能的放置候选者的概率分布。

A comparison of controller architectures and learning mechanisms for arbitrary robot morphologies Authors Jie Luo, Jakub Tomczak, Karine Miras, Agoston E. Eiben 本文解决的主要问题是，如果事先不知道学习机器人的形态，应该使用机器人控制器和学习方法的哪种组合。我们的兴趣植根于形态演化的模块化机器人的背景下，但问题是对于对广泛适用的解决方案感兴趣的系统设计人员来说，通常也具有相关性。我们对三种控制器和学习器组合进行了实验比较，其中一种方法是控制器基于模拟动物运动中央模式生成器、CPG，而学习器是一种进化算法，这是一种完全不同的方法，使用强化学习 RL 和神经网络控制器架构，并且控制器是神经网络，学习器是进化算法之间的组合。我们将这三种组合应用于模块化机器人测试套件，并比较它们的功效、效率和稳健性。

Invariant Smoothing for Localization: Including the IMU Biases Authors Paul Chauchat AMU SCI, AMU, LIS , Silv re Bonnabel CAOR , Axel Barrau CAOR 在本文中，我们研究了平滑，即使用 IMU 辅助其他定位传感器进行机器人定位的基于优化的估计技术。我们更特别关注不变平滑 IS ，这是一种基于使用机器人技术中的非平凡李群的变体。我们研究了最近推出的两帧组 TFG，并证明它可以适合不变平滑的框架，以便与机器人技术的最新技术相比，更好地考虑 IMU 偏差。

Scene Informer: Anchor-based Occlusion Inference and Trajectory Prediction in Partially Observable Environments Authors Bernard Lange, Jiachen Li, Mykel J. Kochenderfer 在复杂和动态的环境中导航需要自动驾驶汽车来推理可见区域和遮挡区域。这涉及预测观察到的智能体的未来运动，推断被遮挡的智能体，以及基于部分可观察环境的矢量化场景表示对它们的交互进行建模。然而，先前关于遮挡推断和轨迹预测的工作是孤立发展的，前者基于简化的光栅化方法，后者假设完全环境可观测性。我们引入了 Scene Informer，这是一种统一的方法，用于预测观察到的智能体轨迹并在部分可观察的环境中推断遮挡。它使用转换器来聚合各种输入模式，并促进对可能与 AV 计划路径相交的遮挡进行选择性查询。该框架估计占用概率和可能的遮挡轨迹，以及预测观察到的代理的运动。我们探讨了这两个领域中常见的可观测性假设及其性能影响。

FC-Planner: A Skeleton-guided Planning Framework for Fast Aerial Coverage of Complex 3D Scenes Authors Chen Feng, Haojia Li, Jinqi Jiang, Xinyi Chen, Shaojie Shen, Boyu Zhou 无人机的3D覆盖路径规划是各种实际应用中的一个关键问题。然而，现有方法在大型复杂场景中的系统简单性、计算效率和路径质量都不尽如人意。为了应对这些挑战，我们提出了 FC Planner，这是一个骨架引导规划框架，无需预处理即可实现复杂 3D 场景的快速空中覆盖。我们通过基于骨架的空间分解 SSD 将场景分解为几个简单的子空间。此外，骨架引导我们毫不费力地确定自由空间。我们利用框架有效地生成一组最小的专业且信息丰富的观点，以实现完整的覆盖。基于SSD，分层规划器有效地将大规划问题划分为独立的子问题，从而实现每个子空间的并行规划。然后将精心设计的全局和本地规划策略结合起来，以保证路径生成的高质量和高效率。我们进行了广泛的基准测试和现实世界测试，与最先进的方法相比，FC Planner 的计算速度快了 10 倍以上，路径更短，覆盖更全面。

Traj-LO: In Defense of LiDAR-Only Odometry Using an Effective Continuous-Time Trajectory Authors Xin Zheng, Jianke Zhu 激光雷达里程计是许多机器人应用中的重要组成部分。与侧重于通过附加惯性传感器提高精度的主流方法不同，这封信从连续时间的角度探讨了仅 LiDAR 里程计的功能。首先，LiDAR 的测量被视为高频连续捕获的流点。其次，激光雷达的运动通过简单而有效的连续时间轨迹进行参数化。因此，我们提出的 Traj LO 方法试图通过紧密耦合 LiDAR 点的几何信息和轨迹平滑度的运动学约束来恢复 LiDAR 的时空一致运动。该框架适用于不同类型的激光雷达以及多激光雷达系统。对公共数据集的大量实验证明了我们提出的仅 LiDAR 方法的稳健性和有效性，即使在运动状态超出 IMU 测量范围的情况下也是如此。

Efficient RRT*-based Safety-Constrained Motion Planning for Continuum Robots in Dynamic Environments Authors Peiyu Luo, Shilong Yao, Yiyao Yue, Jiankun Wang, Hong Yan, Max Q. H. Meng 连续体机器人以其高灵活性和无限自由度的特点，在微创手术和危险环境探索等应用中获得了突出的应用。然而，连续体机器人固有的复杂性需要大量时间进行运动规划，这给其实际实施带来了障碍。为了应对这些挑战，人们采用了高效的运动规划方法，例如快速探索随机树 RRT 及其变体 RRT。本文介绍了一种专为连续体机器人量身定制的独特的基于 RRT 的运动控制方法。我们的方法嵌入了源自机器人姿势状态的安全约束，有助于在快速变化的环境中进行自主导航和避障。仿真结果显示了在多个动态障碍物中的有效轨迹规划，并根据生成的姿势提供稳健的性能评估。最后，在两段电缆驱动的连续体机器人原型上进行了初步测试，证实了所提出的规划方法的有效性。

Policy Stitching: Learning Transferable Robot Policies Authors Pingcheng Jian, Easop Lee, Zachary Bell, Michael M. Zavlanos, Boyuan Chen 使用强化学习 RL 训练机器人通常涉及与环境的大量交互，并且获得的技能通常对任务环境和机器人运动学的变化敏感。迁移强化学习旨在利用先前的知识来加速新任务或新身体配置的学习。然而，由于复杂的架构设计或强正则化限制了学习策略的能力，现有方法很难推广到新颖的机器人任务组合并扩展到现实任务。我们提出了策略缝合（Policy Stitching），这是一种新颖的框架，有助于机器人和任务的新颖组合的机器人迁移学习。我们的关键思想是应用模块化策略设计并调整模块化接口之间的潜在表示。我们的方法允许直接拼接单独训练的机器人和任务模块，以形成快速适应的新策略。我们对各种 3D 操作任务的模拟和现实世界实验证明了我们的方法具有卓越的零样本和少样本迁移学习性能。

Deep Learning-Based Connector Detection for Robotized Assembly of Automotive Wire Harnesses Authors Hao Wang, Bj rn Johansson 汽车行业向电动化和自动驾驶的转变，使得现代汽车上安装的汽车线束越来越多，这就更加凸显了保证汽车线束装配质量的重要意义。由于连接器对于线束连接和信号传输的重要性，连接器的插配在汽车线束的总装中至关重要。然而，当前配合连接器的手动操作导致了装配质量和人体工程学方面的严重问题，其中考虑了机器人化装配，并且已经提出了不同的基于视觉的解决方案以促进对连接器上的机器人控制系统的更好感知。尽管如此，之前的文献中缺乏基于深度学习的解决方案来检测汽车线束连接器。本文提出了一种基于深度学习的用于机器人汽车线束装配的连接器检测。创建了包含 20 个汽车线束连接器的数据集，以分别训练和评估两级和一级对象检测模型。

Computer Vision Technology for Robotized Wire Harness Assembly Authors Hao Wang, Omkar Salunkhe, Walter Quadrini, Dan L mkull, Fredrik Ore, Bj rn Johansson, Johan Stahre 线束是现代汽车电子系统的重要硬件。随着汽车行业向电气化和自动驾驶的转变，越来越多的汽车电子产品负责能量传输和安全关键功能，例如操纵、驾驶辅助和安全系统。从安全角度来看，这种范式转变对汽车线束提出了更多要求，并强调了高质量线束装配在车辆中的重要性。然而，目前线束装配的大部分操作仍然由熟练工人手动执行，并且某些手动过程从质量控制和人体工程学等不同角度都存在问题。该行业还存在提高竞争力和获得市场份额的持续需求。因此，需要确保装配质量，同时改善人体工程学并优化劳动力成本。由机器人或人类机器人协作完成的机器人装配是满足日益严格的质量和安全要求的关键推动因素，因为它比完全手动操作实现了更可复制、更透明和更易于理解的流程。然而，由于可变形物体的灵活性，线束的机器人装配在实际环境中具有挑战性，尽管在简化的工业配置下已经提出了许多初步的自动化解决方案。先前的研究工作提出使用计算机视觉技术来促进线束装配的机器人自动化，使机器人能够更好地感知和操纵柔性线束。

Terrestrial Locomotion of PogoX: From Hardware Design to Energy Shaping and Step-to-step Dynamics Based Control Authors Yi Wang, Jiarong Kang, Zhiheng Chen, Xiaobin Xiong 我们在机器人运动机上提出了一种新颖的控制器设计，该机器人运动机将飞行器与弹簧加载腿结合在一起。主要动机是使飞行器具有地面运动能力，以便它们能够承载足够重的重物，以至于不再可能飞行，例如，当推重比 TWR 很小时。该机器人设计有弹簧单高跷腿和四旋翼飞行器，因此被命名为PogoX。我们证明，通过简单且轻量的弹簧加载腿，机器人能够使用 TWR 1 跳跃。跳跃的控制是通过两个组件实现的：通过基于李亚普诺夫函数的能量整形控制的垂直高度控制，以及受弹簧加载倒立摆滑动的跳跃启发的基于S2S动力学的一步到一步的水平速度控制。

Design and Evaluation of Motion Planners for Quadrotors Authors Yifei Simon Shao, Yuwei Wu, Laura Jarin Lipschitz, Pratik Chaudhari, Vijay Kumar 四旋翼飞行器运动规划领域在过去十年中经历了重大进步。大多数成功的方法依赖于两个阶段：前端通过结合几何约束和在某些情况下运动学或输入约束来确定最佳路径，有效地指定轨迹的同伦类；后端通过合适的目标函数优化路径，受到机器人动力学以及状态输入约束的约束。然而，没有系统的方法或设计指南来为广泛的环境设计前端和后端，也没有文献评估轨迹规划算法在不同程度的环境复杂性下的性能。在本文中，我们提出了一种模块化方法来设计软件规划堆栈，并提供一组参数化环境来系统地评估两阶段规划器的性能。我们的参数化环境使我们能够根据环境的混乱和复杂性访问不同的前端和后端规划器。我们使用模拟和实验结果来演示所选规划算法在各种环境中的性能。

ORLA*: Mobile Manipulator-Based Object Rearrangement with Lazy A* Authors Kai Gao, Yan Ding, Shiqi Zhang, Jingjin Yu 有效地执行对象重新排列是移动机械手的一项基本技能，例如设置餐桌或整理桌子。此类问题的关键挑战是确定对象的适当操作顺序，以有效地理清对象之间的依赖关系，同时考虑实现操作（例如拾取和放置）所需的运动。据我们所知，移动机械臂的计算时间最优多对象重排解决方案仍然是一个很大程度上尚未开发的研究方向。在这项研究中，我们提出了 ORLA ，它利用延迟惰性评估来搜索高质量的对象拾取和放置序列，同时考虑末端执行器和移动机器人底座行程。 ORLA 还支持使用机器学习考虑桩稳定性的多层重排任务。 ORLA 采用最优求解器来寻找移动对象的临时位置，可以实现全局最优。通过广泛的模拟和消融研究，我们确认了 ORLA 为具有挑战性的重排实例提供高质量解决方案的有效性。

Neural Network-PSO-based Velocity Control Algorithm for Landing UAVs on a Boat Authors Li Fan Wu, Zihan Wang, Mo Rastgaar, Nina Mahmoudian 将无人机精确降落到自主地面车辆 ASV 等移动平台上对于异构车辆的协作导航既重要又具有挑战性，尤其是在 GPS 无法使用的环境中。无人机需要降落在AS​​V上的有限空间内以获得能量补充，而ASV会受到风和水流引起的平移和旋转扰动。当前的解决方案要么依赖于高级航路点导航，难以稳健地降落在不同速度的目标上，要么需要费力地手动调整控制器参数，并需要昂贵的传感器来进行目标定位。因此，我们提出了一种自适应速度控制算法，利用粒子群优化 PSO 和神经网络 NN 来优化不同飞行高度和不同移动船速度的 PID 参数。 PSO的成本函数包括无人机的状态变化率和与目标的接近程度。神经网络进一步对 PSO 创建的 PID 参数进行插值。所提出的方法在水黾六轴飞行器设计上实现，不仅保证了准确性，而且提高了鲁棒性。此外，这种神经网络 PSO 可以很容易地适应不同的任务要求。

Autonomous Apple Fruitlet Sizing with Next Best View Planning Authors Harry Freeman, George Kantor 在本文中，我们提出了一种自动调整苹果果实大小的最佳视图规划方法。最先进的农业视点规划器旨在对大型且稀疏的水果进行尺寸设计。他们依赖于较低分辨率的地图和尺寸测量方法，这些方法不能推广到较小的水果尺寸。为了克服这些限制，我们的方法结合了围绕语义标记的感兴趣区域的视点采样，以及注意力引导的信息增益机制，以更有策略地选择针对小水果体积的视点。此外，我们集成了环境的双地图表示，既能够加快昂贵的光线投射操作，又能保持围绕水果进行信息规划所需的高占用分辨率。在确定尺寸时，引入了稳健的估计和图形聚类方法来关联图像中的水果检测。通过模拟实验，我们证明了与最先进的技术和消融相比，我们的视点规划器提高了尺寸精确度。

PanopticNDT: Efficient and Robust Panoptic Mapping Authors Daniel Seichter, Benedict Stephan, S hnke Benedikt Fischedick, Steffen M ller, Leonard Rabes, Horst Michael Gross 随着移动机器人的应用场景变得越来越复杂和具有挑战性，场景理解变得越来越重要。想要在室内环境中自主操作的移动机器人必须精确了解存在哪些物体、它们在哪里、它们的空间范围是什么以及如何到达它们，即有关自由空间的信息也至关重要。全景测绘是提供此类信息的强大工具。然而，鉴于移动机器人的计算能力有限，构建具有高空间分辨率的 3D 全景地图对于移动机器人来说是一项挑战。在本文中，我们提出了 PanopticNDT 一种基于占用正态分布变换 NDT 映射的高效且鲁棒的全景映射方法。我们在公开数据集 Hypersim 和 ScanNetV2 上评估我们的方法。结果表明，我们的方法可以比其他最先进的方法更详细地表示全景信息，同时在移动机器人上实现实时全景映射。

6-DOF All-Terrain Cyclocopter Authors Jingwei Li, Boyuan Deng, Xinyu Zhang, Kangyao Huang 本文介绍了一种六自由度全地形微型飞行器的设计和两种多模式飞行控制策略，并经过实验验证。该微型飞行器由四个电机驱动，并由单个伺服控制，用于控制摆线转子的速度和升力方向。尽管添加了伺服系统，系统仍然未得到驱动。为了解决摆线旋翼飞机传统的欠驱动问题，我们增加了控制变量的数量。我们提出了PID和非线性模型预测控制NMPC框架来解决模型的非线性并实现姿态、位置及其导数的控制。实验结果证明了所提出的6自由度全地形微型飞行器多模态控制策略的有效性。该车可实现空中、陆地、水上三种模式运行，能够适应不同的地形和环境条件。

Boosting Offline Reinforcement Learning for Autonomous Driving with Hierarchical Latent Skills Authors Zenan Li, Fan Nie, Qiao Sun, Fang Da, Hang Zhao 随着多样化驾驶模拟器和大规模驾驶数据集的出现，基于学习的车辆规划越来越受到关注。虽然离线强化学习 RL 非常适合这些安全关键任务，但它仍然很难进行长期规划。在这项工作中，我们提出了一个基于技能的框架，可以增强离线强化学习以克服长期车辆规划挑战。具体来说，我们设计了一个变分自动编码器 VAE，从离线演示中学习技能。为了减轻常见 VAE 的后验崩溃，我们引入了一个双分支序列编码器来捕获离散选项和复杂驾驶技能的连续变化。最终的策略将学到的技能视为动作，并且可以通过任何现成的离线 RL 算法进行训练。这有助于将重点从每一步行动转移到暂时扩展的技能，从而实现对未来的长期推理。 CARLA 的广泛结果证明，我们的模型在训练和新场景中始终优于强大的基线。

Task-Oriented Dexterous Grasp Synthesis via Differentiable Grasp Wrench Boundary Estimator Authors Jiayi Chen, Yuxing Chen, Jialiang Zhang, He Wang 分析性灵巧抓取综合通常由抓取质量指标驱动。然而，现有的度量存在许多问题，例如计算成本高、物理上不准确以及不可微分。此外，它们都不能促进非力闭合抓握的合成，而非力闭合抓握在任务导向的抓握（例如旋盖和按下按钮）中占很大一部分。上述所有缺点背后的主要挑战是复杂的 Grasp Wrench Space GWS 建模的难度。在这项工作中，我们通过提出一种新颖的 GWS 估计器克服了这一挑战，从而首次实现了基于梯度的面向任务的灵巧掌握合成。我们的主要贡献是一种快速、准确和可微分的技术，通过并行采样和映射来估计具有良好物理可解释性的 GWS 边界，这不需要迭代优化。其次，基于我们的可微 GWS 估计器，我们推导了一个面向任务的能量函数，以实现基于梯度的抓取合成和评估非力闭合抓取的度量。最后，我们主要通过一种新技术来改进之前的灵巧掌握合成管道，使最近点计算可微分，甚至在网格边缘和顶点上也是如此。进行了大量的实验来验证我们方法的效率和有效性。我们的 GWS 估计器可以在 GPU 上以最少的内存成本在几毫秒内运行，比基于经典离散化的方法快三个数量级以上。使用这个 GWS 估计器，我们合成了 10 万个灵巧抓取，表明我们的管道可以显着优于 SOTA 方法，即使在任务无意识力闭合抓取合成中也是如此。

Swashplateless-elevon Actuation for a Dual-rotor Tail-sitter VTOL UAV Authors Nan Chen, Fanze Kong, Haotian Li, Jiayuan Liu, Ziwei Ye, Wei Xu, Fangcheng Zhu, Ximin Lyu, Fu Zhang 在本文中，我们提出了一种用于双旋翼尾座垂直起降垂直起降无人机的新型无斜盘升降舵驱动 SEA。与使用升降副翼同时控制俯仰和偏航的传统升降舵驱动 CEA 不同，SEA 采用无旋转斜盘机构，通过电机调速产生额外力矩来控制俯仰，并仅使用升降舵来控制偏航，无需额外的执行器。这种解耦控制策略减轻了大俯仰和偏航控制动作所需的升降副翼偏转的饱和度，从而提高了无人机在存在大外部扰动时的轨迹跟踪控制性能和抗扰性能。此外，SEA还克服了CEA在无人机接近地面时遇到的驱动退化问题，从而实现更平稳、更稳定的起飞过程。我们验证并比较了 SEA 和 CEA 在各种现实飞行条件下的性能，包括外部干扰下的起飞、轨迹跟踪、悬停飞行和位置步进。实验结果表明SEA比CEA具有更好的性能。此外，我们验证了SEA在VTOL无人机姿态转换过程和固定翼模式飞行中的可行性。结果表明，SEA能够在高速来流气流的情况下精确控制俯仰角，并在固定翼模式飞行过程中保持稳定的姿态。

Towards Robust Robot 3D Perception in Urban Environments: The UT Campus Object Dataset Authors Arthur Zhang, Chaitanya Eranki, Christina Zhang, Ji Hwan Park, Raymond Hong, Pranav Kalyani, Lochana Kalyanaraman, Arsh Gamare, Arnav Bagad, Maria Esteva, Joydeep Biswas 我们介绍 UT 校园对象数据集 CODa，这是在德克萨斯大学奥斯汀校区收集的移动机器人自我中心感知数据集。我们的数据集包含 8.5 小时的多模态传感器数据、同步 3D 点云和立体 RGB 视频（来自 128 通道 3D LiDAR 和两个 1.25MP RGB 摄像头（10 fps）、来自附加 0.5MP 传感器（7 fps）的 RGB D 视频和 9 DOF IMU传感器频率为 40 Hz。我们提供了 58 分钟的地面实况注释，其中包含 130 万个 3D 边界框以及 53 个语义类的实例 ID、5000 帧城市地形 3D 语义注释以及伪地面实况定位。我们反复穿越相同的地理位置，了解各种室内和室外区域、天气条件和一天中的时间。使用 CODa，我们凭经验证明，1 使用 CODa 进行训练时，城市环境中的 3D 对象检测性能明显高于现有数据集，即使采用最先进的域适应方法，2 传感器特定微调可提高 3D 对象检测精度，3 预训练与 AV 数据集上的预训练相比，CODa 上的预训练提高了城市环境中跨数据集 3D 对象检测的性能。使用我们的数据集和注释，我们使用既定指标发布 3D 对象检测和 3D 语义分割的基准。将来，CODa 基准测试将包括其他任务，例如无监督对象发现和重新识别。我们在德克萨斯州数据存储库上公开发布 CODa、预训练模型、数据集开发包和交互式数据集查看器。

Anisotropic body compliance facilitates robotic sidewinding in complex environments Authors Velin Kojouharov, Tianyu Wang, Matthew Fernandez, Jiyeon Maeng, Daniel I. Goldman 侧绕运动是一种以协调身体横向和垂直波动为特征的运动策略，在响尾蛇中经常观察到，并且已被无肢机器人系统成功重建，以便在不同的陆地地形上有效运动。然而，将柔顺机构集成到侧绕无肢机器人中的探索仍然较少，这给复杂、流变多样的环境中的导航带来了挑战。受到横向波动中机械智能显着简化控制的启发，将反馈控制转移给被动身体力学和与环境的交互，我们提出了一种用于侧绕的机械智能无肢机器人的创新设计。该机器人具有分散的双边电缆驱动系统，类似于有机体肌肉驱动机制。我们开发了一种前馈控制器，将可编程的身体顺应性纳入侧绕步态模板中。我们的实验结果凸显了当机器人配备适当水平的身体顺应性时机械智能的出现。

AdaMap: High-Scalable Real-Time Cooperative Perception at the Edge Authors Qiang Liu, Yongjie Xue, Yuru Zhang, Dawei Chen, Kyungtae hAN 合作感知是增强联网和自动驾驶车辆 CAV 感知以实现安全自动驾驶的关键方法。然而，在大规模部署场景中实现数百台CAV的实时感知共享具有挑战性。在本文中，我们提出了 AdaMap，一种新的高可扩展实时协作感知系统，它在时变网络动态下实现了有保证的百分位端到端延迟。为了实现AdaMap，我们设计了一个紧密耦合的数据平面和控制平面。在数据平面中，我们设计了一个新的混合定位模块来在对象检测和跟踪之间动态切换，以及一个新颖的点云表示模块来自适应压缩和重建检测到的对象的点云。在控制平面中，我们设计了一种新的基于图的对象选择方法来取消选择过多的多视图对象点云，并设计了一种新颖的近似梯度下降算法来优化点云的表示。我们在仿真平台上实现 AdaMap，包括真实的车辆和服务器计算以及模拟 5G 网络，并在从 CARLA 模拟器收集的 150 CAV 跟踪下进行。

Learning-based Perception Contracts and Applications Authors Dawei Sun, Benjamin C. Yang, Sayan Mitra 感知模块是许多现代自主系统中不可或缺的一部分，但其准确性可能会受到环境变化的影响。在本文中，我们提出了一种基于学习的方法，可以自动从数据中表征感知模块的错误，并将其用于安全控制。所提出的方法构建了一个 em 感知合约 PC，它生成一个包含感知模块正在以高概率估计的地面真实值的集合。我们应用所提出的方法来研究部署在四轴飞行器上的视觉管道。通过所提出的方法，我们成功构建了用于视觉管道的 PC。然后，我们设计了一种利用学习到的 PC 的控制算法，目标是将四轴飞行器安全地降落在着陆垫上。

Communication-Constrained Multi-Robot Exploration with Intermittent Rendezvous Authors Alysson Ribeiro da silva, Luiz Chaimowicz, Vijay Kumar, Thales Costa Silva, Ani Hsieh 多机器人探索 MRE 任务的一个挑战是制定有效的分布式探索策略，因为一般来说，机器人无法自由通信，而且环境可能是动态且未知的。大多数解决方案提供良好的性能，但代价是在探索时添加更多机器人或网络中继，这有助于随着时间的推移连接机器人。本文提出了一种新颖的间歇交会方法，允许机器人探索未知环境，同时在交会点共享地图，而无需添加中继或其他机器人。我们建议在整个探索过程中动态更新交会位置，并设计优先考虑未来交会地点的探索策略。我们通过将 MRE 简化为带有时间连接图的作业车间调度问题 JSSP 的实例来自动生成交会策略。我们评估了我们在各种虚拟城市环境中的模拟以及使用机器人操作系统 ROS 的 Gazebo 模拟中的方法。

Interpretable and Flexible Target-Conditioned Neural Planners For Autonomous Vehicles Authors Haolan Liu, Jishen Zhao, Liangjun Zhang 通过利用大量驾驶员演示，基于学习的自动驾驶车辆规划方法有可能扩展到许多复杂的现实世界驾驶场景。然而，先前的工作仅学习估计单个规划轨迹，而在现实世界场景中可能有多个可接受的计划。为了解决这个问题，我们提出了一种可解释的神经规划器来回归热图，它有效地代表了自动驾驶车辆鸟瞰图中的多个潜在目标。规划器采用自适应高斯核和宽松的沙漏损失来更好地捕获规划问题的不确定性。我们还使用负高斯核为热图回归添加监督，使模型能够有效地学习避免碰撞。

Detecting and Mitigating System-Level Anomalies of Vision-Based Controllers Authors Aryaman Gupta, Kaustav Chakraborty, Somil Bansal 近年来，自动驾驶汽车和无人机等自主系统利用视觉输入和机器学习进行决策和控制，取得了重大进展。尽管性能令人印象深刻，但这些基于视觉的控制器在面对新的或不符合分布的输入时可能会做出错误的预测。此类错误可能会导致灾难性的系统故障并危及系统安全。在这项工作中，我们引入了运行时异常监视器来检测和缓解此类闭环系统级故障。具体来说，我们利用基于可达性的框架对基于视觉的控制器进行离线压力测试并挖掘其系统级故障。然后，该数据用于训练分类器，该分类器在线利用来标记可能导致系统故障的输入。异常检测器突出显示超越各个模块并与整个系统的安全相关的问题。我们还设计了一个后备控制器，可以稳健地处理这些检测到的异常情况，以保护系统安全。我们在使用基于视觉的控制器进行滑行的自主飞机滑行系统上验证了所提出的方法。

Targeted Learning: A Hybrid Approach to Social Robot Navigation Authors Amir Hossain Raj, Zichao Hu, Haresh Karnan, Rohan Chandra, Amirreza Payandeh, Luisa Mao, Peter Stone, Joydeep Biswas, Xuesu Xiao 使机器人能够以符合社会要求的方式进行导航对于接受在人类居住环境中移动的机器人至关重要。此前，机器人专家已经开发出经过数十年经验验证的经典导航系统，以实现安全性和效率。然而，社会依从性的许多复杂因素使得经典导航系统很难适应社会情境，在这种情况下，没有多少调整可以使它们既安全又难以预测和高效的冻结机器人问题。随着深度学习方法的最新进展，普遍的反应是完全抛弃经典的导航系统并从头开始，构建一个全新的基于学习的社交导航规划器。在这项工作中，我们发现使用大规模现实世界社交导航数据集 SCAND 时这种反应是不必要的极端，我们发现经典系统可以在高达 80 的大量社交场景中安全有效地使用。因此，我们想知道是否可以通过利用经典方法和基于学习的方法的优势来重新思考这个问题。我们提出了一种混合策略，其中我们学习在经典几何规划器和数据驱动方法之间切换。

Communication-Aware Map Compression for Online Path-Planning Authors Evangelos Psomiadis, Dipankar Maity, Panagiotis Tsiotras 本文解决了移动机器人路径规划的最佳压缩信息的通信问题。在这种情况下，移动机器人会压缩其当前的本地地图，以协助另一个机器人在未知环境中到达目标。我们提出了一个框架，通过平衡地图分辨率和通信成本，在机器人路径的引导下顺序选择最佳压缩。我们的方法在接近真实场景的情况下很容易处理，并且不需要事先的环境知识。我们设计了一种新颖的解码器，它利用压缩信息通过具有线性约束的凸优化来估计未知环境，并设计了一个利用解码器选择最佳压缩的编码器。在接近真实的大地图和迷宫地图中进行数值模拟，并与两种替代方法进行比较。

Tag-based Visual Odometry Estimation for Indoor UAVs Localization Authors Massimiliano Bertoni, Simone Montecchio, Giulia Michieletto, Roberto Oboe, Angelo Cenedese 由于其室内使用限制，无人机平台提供的敏捷性和多功能性在工业应用中的充分利用仍然遇到障碍。从这个意义上说，一个重大挑战是找到一种可靠且具有成本效益的方法来在 GNSS 无法识别的环境中定位飞行器。在本文中，我们重点关注基于视觉的定位范例，通过利用密集且尺寸异构的标签图提供的潜力，实现了无人机位置和方向估计的高精度。具体来说，我们提出了一种有效的视觉里程计程序，重点关注分层标签选择、异常值去除和多标签估计融合，以促进视觉惯性协调。

Collision Avoidance and Navigation for a Quadrotor Swarm Using End-to-end Deep Reinforcement Learning Authors Zhehui Huang, Zhaojing Yang, Rahul Krupani, Bask n enba lar, Sumeet Batra, Gaurav S. Sukhatme 用于四旋翼飞行器控制的端到端深度强化学习 DRL 具有许多优点，即易于部署、任务泛化和实时执行能力。之前基于端到端 DRL 的方法已经展示了将学习控制器部署到在简单、无障碍环境中操纵的单个四旋翼飞行器或四旋翼飞行器团队上的能力。然而，障碍的增加使可能的交互数量呈指数级增加，从而增加了训练强化学习策略的难度。在这项工作中，我们提出了一种端到端的 DRL 方法来控制有障碍物的环境中的四旋翼飞行器群。我们为我们的代理提供课程和剪辑碰撞事件的重播缓冲区，以提高障碍物丰富的环境中的性能。我们实现了一种注意力机制来关注邻居机器人和障碍物交互，这是该机制在部署在计算严重受限的硬件上的群体行为策略上的首次成功演示。我们的工作是第一个展示学习邻居回避和避障控制策略的可能性的工作，该策略通过端到端 DRL 训练，将零射击转移到真正的四旋翼飞行器。我们的方法在模拟中可扩展到 32 个具有 80 个障碍物密度的机器人，在物理部署中可扩展到 8 个具有 20 个障碍物密度的机器人。

Robust Navigation with Cross-Modal Fusion and Knowledge Transfer Authors Wenzhe Cai, Guangran Cheng, Lingyue Kong, Lu Dong, Changyin Sun 最近，基于学习的方法在导航任务中显示出了有希望的结果。然而，泛化能力差和模拟现实差距阻碍了广泛的应用。我们考虑提高移动机器人的通用性并实现导航技能从模拟到真实的迁移的问题。为此，我们提出了一种跨模式融合方法和知识转移框架，以实现更好的泛化。这是通过师生蒸馏架构实现的。教师在理想的环境中学习有区别的表示和近乎完美的策略。通过模仿教师的行为和表示，学生能够调整来自嘈杂的多模态输入的特征，并减少导航策略变化的影响。我们在模拟和现实环境中评估我们的方法。

Pick Planning Strategies for Large-Scale Package Manipulation Authors Shuai Li, Azarakhsh Keipour, Kevin Jamieson, Nicolas Hudson, Sicong Szhao, Charles Swan, Kostas Bekris

Intent-Aware Autonomous Driving: A Case Study on Highway Merging Scenarios Authors Nishtha Mahajan, Qi Zhang 在这项工作中，我们使用意图沟通作为促进自动驾驶汽车代理之间合作的手段。一般来说，意图可以是关于车辆与另一车辆通信的未来行为的任何可靠信息。我们将其作为高速公路环境模拟器中合并环境之上的意图共享任务来实现，该模拟器为学习自动驾驶车辆的决策策略提供了一系列环境。

Robust self-propulsion in sand using simply controlled vibrating cubes Authors Bangyuan Liu, Tianyu Wang, Velin Kojouharov, Frank L. Hammond III, Daniel I. Goldman 地球的大部分和地外天体的许多表面都是由粘性粒子物质组成的。对于常见的机器人设备（无论是轮式还是腿式）来说，在粒状地形上移动都是一项挑战。在这项工作中，我们发现了一种在颗粒介质上通过自振动产生运动的强大替代运动机制。为了证明这种运动机制的有效性，我们开发了一种带有嵌入式振动电机的立方体机器人，并在各种颗粒特性的不同颗粒地形上进行了系统实验。我们研究了粒状地形上运动如何随着振动频率强度的变化而变化。与硬表面相比，我们发现这种振动运动机制使机器人能够在颗粒表面上移动得更快、更稳定，这得益于身体与周围颗粒之间的相互作用。该机器人系统结构设计和控制的简单性表明，振动运动可以成为在粒状地形上产生稳健运动的一种有价值的替代方式。

Walking-by-Logic: Signal Temporal Logic-Guided Model Predictive Control for Bipedal Locomotion Resilient to External Perturbations Authors Zhaoyuan Gu, Rongming Guo, William Yates, Yipu Chen, Ye Zhao 本研究提出了一种基于模型预测控制公式的新颖规划框架，该框架结合了用于任务完成保证和鲁棒性量化的信号时序逻辑 STL 规范。这标志着有史以来第一项将 STL 引导轨迹优化应用于双足运动推动恢复的研究，其中机器人会遇到意外的干扰。现有的恢复策略常常难以应对复杂的任务逻辑推理和运动鲁棒性评估，使得它们容易因恢复策略不当或鲁棒性不足而​​导致失败。为了解决这个问题，STL 引导框架生成最佳且安全的恢复轨迹，同时满足任务规范并最大限度地提高运动鲁棒性。我们的框架在高保真度动态模拟中优于最先进的运动控制器，特别是在涉及交叉腿动作的场景中。

PAC-NMPC with Learned Perception-Informed Value Function Authors Adam Polevoy, Mark Gonzales, Marin Kobilarov, Joseph Moore 非线性模型预测控制 NMPC 通常仅限于短、有限的范围，以限制在线优化的计算负担。这使得在复杂环境中使用 NMPC 进行导航时需要全局规划器来避免局部极小值。因此，NMPC 方法的性能通常受到全局规划器性能的限制。虽然用强化学习强化学习训练的控制策略理论上可以学会避免这种局部最小值，但它们通常无法保证一般状态约束的执行。在本文中，我们使用 RL 训练的感知知情价值函数来增强基于采样的随机 NMPC SNMPC 方法。这使得系统能够通过推理超出有限规划范围的感知信息来避免环境中可观察到的局部最小值。通过使用大概正确的 NMPC PAC NMPC 作为我们的基础控制器，我们还能够生成性能和安全性的统计保证。

FATHER: FActory on THE Road Authors G za Szab , Bal zs T rnok, Levente Vajda, J zsef Pet , Attila Vid cs 如今，在大多数工厂中，机器人单元都部署在严格执行的基础上，以避免对生产准确性产生任何外部影响。与此相反，我们评估了一个未来概念，即整个机器人单元可以在移动平台上工作。想象一下一辆卡车的拖车沿着高速公路行驶，同时由于操纵而受到严重的物理冲击。这里的关键问题是机器人单元的行为方式以及生产率如何受到影响。

SoRTS: Learned Tree Search for Long Horizon Social Robot Navigation Authors Ingrid Navarro, Jay Patrikar, Joao P. A. Dantas, Rohan Baijal, Ian Higgins, Sebastian Scherer, Jean Oh 共享空间中对完全自主机器人的需求快速增长，需要开发可信赖的代理，以便能够在拥挤的环境中安全、无缝地导航。最近的运动预测模型显示出在描述此类环境中的社交互动方面的前景。尽管如此，使它们适应导航仍然具有挑战性，因为它们经常遭遇泛化失败。受此启发，我们提出了社交机器人树搜索 SoRTS，一种用于社交领域安全机器人导航的算法。

Exposing the Unseen: Exposure Time Emulation for Offline Benchmarking of Vision Algorithms Authors Olivier Gamache, Jean Michel Fortin, Mat j Boxan, Fran ois Pomerleau, Philippe Gigu re 视觉里程计 VO 是机器人计算机视觉的基本任务之一。然而，其性能深受户外无所不在的高动态范围HDR场景的影响。虽然已经出现了新的自动曝光 AE 方法来缓解这一问题，但它们以可重复的方式进行比较是有问题的。这是因为 AE 的行为取决于环境，并且会影响图像采集过程。因此，AE 传统上仅以在线方式进行基准测试，使得实验不可重复。为了解决这个问题，我们提出了一种基于模拟器的新方法，可以在任何曝光时间生成图像。它利用 BorealHDR，这是一种独特的多重曝光立体数据集，在 8.4 公里范围内、在具有挑战性的照明条件下的 50 条轨迹上收集。此外，它还包含每个图像的姿态地面实况和基于激光雷达数据的全局 3D 地图。我们证明，使用在不同曝光时间获取的这些图像，我们可以模拟真实图像，与地面真实图像相比，均方根误差 RMSE 保持在 1.78 以下。为了证明我们的离线基准测试方法的实用性，我们将视觉同步定位和映射 VSLAM 管道关键元素的三种最先进的 AE 算法与四个基线进行了比较。因此，现在可以对 AE 进行可重复的评估，从而加快未来方法的开发。

Sampling-Based Motion Planning: A Comparative Review Authors Andreas Orthey, Constantinos Chamzas, Lydia E. Kavraki 基于采样的运动规划是生成机器人运动的基本范例之一，也是机器人研究的基石。该比较评论为基于采样的运动规划算法的使用提供了最新的指南和参考手册。这包括运动规划的历史、最成功规划者的概述以及对其属性的讨论。它还展示了规划者如何处理特殊情况以及如何适应运动规划的扩展。为了将基于采样的运动规划置于更大的背景下，讨论了替代运动生成框架，强调了它们与基于采样的运动规划各自的差异。最后，对一组基于采样的运动规划器在 24 个具有挑战性的规划问题上进行了比较。该评估可以深入了解哪些规划者在哪些情况下以及哪些方面需要进行未来的研究，表现良好。

Lamarck's Revenge: Inheritance of Learned Traits Can Make Robot Evolution Better Authors Jie Luo, Karine Miras, Jakub Tomczak, Agoston E. Eiben 进化机器人系统提供了两个主要优势：通过进化优化开发机器人的先进方法，以及进行有关进化问题的假设实验的特殊研究平台。我们的研究位于这些的交叉点。我们研究这个问题：如果 18 世纪的生物学家拉马克没有完全错误，并且一生中学到的个体特征可以通过遗传传递给后代，那会怎样？我们通过使用进化机器人框架进行模拟来研究这个问题，其中机器人的形态、身体和控制器大脑是可进化的机器人还可以通过一生中的学习来改进其控制器。在这个框架内，我们将拉马克系统（大脑的学习部分是可遗传的）与达尔文系统（不可遗传）进行比较。通过分析基于这些系统的模拟，我们获得了关于拉马克进化动力学以及进化与学习之间相互作用的新见解。具体来说，我们表明拉马克主义放大了形态智能的出现，即给定机器人身体通过学习获得良好大脑的能力，并确定了这种成功的根源新生机器人具有更高的适应度，因为它们继承的大脑比它们的身体更好地匹配

Navigation with shadow prices to optimize multi-commodity flow rates Authors Ignacio Boero, Igor Spasojevic, Mariana del Castillo, George Pappas, Vijay Kumar, Alejandro Ribeiro 我们提出了一种在自治多代理团队中提供通信网络基础设施的方法。特别是，我们考虑将一组通信代理与系统中的常规代理放置在一起，以提高后者之间的信息传输率。为了找到放置此类代理的最佳位置，我们定义了灵活的性能函数，以适应不同系统的网络要求。我们提供了一种基于相关凸优化问题的影子价格的算法，以驱动整个系统的配置达到局部最大值。

Stackelberg Driver Model for Continual Policy Improvement in Scenario-Based Closed-Loop Autonomous Driving Authors Haoyi Niu, Qimao Chen, Yingyue Li, Jianming Hu 由于驾驶场景的长尾分布中罕见但关键的极端情况占主导地位，自动驾驶汽车的部署面临着障碍，这对其整体性能产生了负面影响。为了应对这一挑战，对抗性生成方法已经成为一类合成 AV 测试安全关键场景的有效方法。然而，这些生成的场景通常未充分用于自动驾驶训练，导致自动驾驶策略持续改进的潜力仍未得到开发，同时实现这一目标所需的闭环设计也存在缺陷。因此，我们定制了 Stackelberg 驾驶员模型 SDM，以准确表征车辆交互动态的层次性质，通过在类似交互范式的顺序游戏中参与背景车辆 BV 和 AV 来促进迭代改进。 AV 充当领导者，BV 充当追随者，这种领导者追随者模型可确保 AV 不断完善其策略，始终考虑 BV 对挑战 AV 做出最佳反应的附加信息。

Continual Driving Policy Optimization with Closed-Loop Individualized Curricula Authors Haoyi Niu, Yizhou Xu, Xingjian Jiang, Jianming Hu 由于长尾自然驾驶分布中缺乏罕见且安全关键的场景，自动驾驶汽车的安全性长期以来一直是人们最关心的问题。为了应对这一挑战，基于场景的自动驾驶研究兴起，重点是生成高风险驾驶场景并将其应用于自动驾驶模型的安全关键测试。然而，在重用这些广泛的场景来迭代改进 AV 模型方面，人们的探索工作很有限。此外，过滤从具有不同行为的其他 AV 模型收集的巨大场景库，试图提取可用于当前 AV 改进的可转移信息，仍然是棘手且具有挑战性的。因此，我们开发了一个以闭环个性化课程 CLIC 为特色的持续驱动策略优化框架，并将其分解为一组标准化子模块，用于灵活的实施选择 AV 评估、场景选择和 AV 培训。 CLIC 将 AV 评估构建为碰撞预测任务，在每次迭代时估计这些场景中 AV 失败的可能性。随后，通过根据这些故障概率从历史场景中重新采样，CLIC 为下游培训量身定制个性化课程，使其与 AV 的评估能力保持一致。因此，CLIC不仅最大限度地利用预先收集的大量场景库来进行闭环驾驶策略优化，而且还通过从那些组织不良的场景中选择更具挑战性的案例进行个性化训练，促进自动驾驶汽车的改进。

Tracking Control for a Spherical Pendulum via Curriculum Reinforcement Learning Authors Pascal Klink, Florian Wolf, Kai Ploeger, Jan Peters, Joni Pajarinen 强化学习 RL 允许纯粹从数据中学习重要的机器人控制法则。然而，强化学习的许多成功应用都依赖于临时的正则化（例如手工制作的课程）来规范学习表现。在本文中，我们将自动构建课程的最新算法与大规模并行模拟中的强化学习相结合，通过强化学习学习机械臂上球形摆的跟踪控制器。通过更好地尊重非欧几里得任务结构的改进优化方案，我们允许该方法可靠地生成要跟踪的轨迹课程，与不利用这种形式的结构化学习的 RL 基线相比，从而实现更快、更稳健的学习。

Hierarchical Imitation Learning for Stochastic Environments Authors Maximilian Igl, Punit Shah, Paul Mougin, Sirish Srinivasan, Tarun Gupta, Brandyn White, Kyriacos Shiarlis, Shimon Whiteson 模仿学习的许多应用要求代理生成训练数据中观察到的行为的完整分布。例如，为了在模拟中评估自动驾驶汽车的安全性，其他道路使用者的准确且多样化的行为模型至关重要。改善这种分配现实主义的现有方法通常依赖于分层策略。这些条件决定了政策的类型，例如引起多模式行为的目标或人物角色。然而，此类方法通常不适合随机环境，在随机环境中，智能体还必须对外部因素做出反应，因为智能体类型是根据训练期间观察到的未来轨迹推断出来的，这些环境要求将内部和外部因素对智能体行为的贡献分开，并且只有内部因素，即那些在代理控制下的因素，被编码在类型中。当未来未知并且必须独立于实际未来绘制类型时，对有关外部因素的未来信息进行编码会导致测试期间不适当的代理反应。我们将这一挑战形式化为环境随机性下主体类型条件分布的分布变化。我们提出了 Robust Type Conditioning RTC ，它通过随机采样类型下的对抗性训练消除了这种转变。

Modelling and Search-Based Testing of Robot Controllers Using Enzymatic Numerical P Systems Authors Radu Traian Bobe, Florentin Ipate, Ionu Mihai Niculescu 随着自动化流程数量的不断增加，软件控制系统的安全性是数字化社会中非常重要的领域。在本文中，我们展示了教育机器人不同车道保持控制器的准确性测试结果。在我们的方法中，机器人使用数值 P 系统和酶数值 P 系统进行控制。

A Systematic Literature Review of Computer Vision Applications in Robotized Wire Harness Assembly Authors Hao Wang, Omkar Salunkhe, Walter Quadrini, Bj rn Johansson, Dan L mkull, Fredrik Ore, M lanie Despeisse, Luca Fumagalli, Johan Stahre

Iterative Reachability Estimation for Safe Reinforcement Learning Authors Milan Ganai, Zheng Gong, Chenning Yu, Sylvia Herbert, Sicun Gao 确保安全对于强化学习 RL 的实际部署非常重要。必须解决各种挑战，例如处理环境中的随机性、提供持续的国家安全满意度的严格保证，以及避免牺牲性能的过度保守行为。我们提出了一个新的框架，即安全策略优化 RESPO 的可达性估计，用于一般随机设置中的安全约束强化学习。在存在无违规政策的可行集合中，我们优化奖励，同时保持持久的安全性。在这个可行集之外，我们的优化通过保证尽可能以最少的累积折扣违规进入可行集来产生最安全的行为。我们引入了一类算法，使用我们新颖的可达性估计函数在我们提出的框架和类似框架（例如同时处理多个硬约束和软约束的框架）中进行优化。我们从理论上确定，我们的算法几乎肯定会收敛到安全优化框架的局部最优策略。

InSpaceType: Reconsider Space Type in Indoor Monocular Depth Estimation Authors Cho Ying Wu, Quankai Gao, Chin Cheng Hsu, Te Lin Wu, Jing Wen Chen, Ulrich Neumann 室内单目深度估计引起了越来越多的研究兴趣。之前的大多数工作都集中在方法论上，主要是用 NYU Depth V2 NYUv2 数据集进行实验，并且只关注测试集的整体性能。然而，当将单目深度估计方法应用于存在高度变化和多样化的功能文本空间类型（例如图书馆或厨房）的现实世界场景时，人们对鲁棒性和泛化性知之甚少。将性能分解为空间类型的研究对于实现预训练模型的性能差异至关重要。为了促进我们的稳健性调查并解决先前工作的局限性，我们收集了 InSpaceType，这是一个适用于一般室内环境的高质量、高分辨率 RGBD 数据集。我们对 InSpaceType 上的 11 种最新方法进行了基准测试，发现它们严重遭受空间类型方面的性能不平衡的影响，这揭示了它们的潜在偏差。我们将分析扩展到其他 4 个数据集、3 种缓解方法以及推广到未见过的空间类型的能力。我们的工作标志着首次对室内单目深度估计的空间类型之间的性能不平衡进行深入研究，提请人们注意在不考虑空间类型的情况下模型部署的潜在安全问题，并进一步揭示提高鲁棒性的潜在方法。

AgriSORT: A Simple Online Real-time Tracking-by-Detection framework for robotics in precision agriculture Authors Leonardo Saraceni, Ionut M. Motoi, Daniele Nardi, Thomas A. Ciarfuglia 多目标跟踪 MOT 的问题在于检测和跟踪视频序列中的所有目标，同时为每个目标保留唯一的标识符。对于机器人技术来说，这是一个具有挑战性的基本问题。在精准农业中，极端的相机运动、突然的光照变化和强烈的遮挡加剧了实现令人满意的解决方案的挑战。大多数现代跟踪器依赖于物体的外观而不是运动来进行关联，当大多数目标是具有相同外观的静态物体时，这可能是无效的，就像在农业案例中一样。为此，在 SORT 5 的基础上，我们提出了 AgriSORT，这是一种简单、在线、实时的精准农业检测管道跟踪，仅基于运动信息，允许在帧之间准确、快速地传播轨迹。 AgriSORT 的主要关注点是效率、灵活性、最小依赖性以及在机器人平台上易于部署。我们根据在鲜食葡萄葡萄园中拍摄的视频序列，在专为农业环境量身定制的新型 MOT 基准上测试了拟议的管道，由于实例的强烈自相似性和密度，特别具有挑战性。

NeRF-Enhanced Outpainting for Faithful Field-of-View Extrapolation Authors Rui Yu, Jiachen Liu, Zihan Zhou, Sharon X. Huang 在机器人导航和远程视觉辅助等各​​种应用中，扩大相机的视野 FOV 被证明有利于增强环境感知。与仅旨在生成美观视觉效果的图像外画技术不同，这些应用程序需要忠实呈现场景的扩展视图。为了实现这一目标，我们提出了一个新的忠实视场外推问题，该问题利用一组预先捕获的图像作为场景的先验知识。为了解决这个问题，我们提出了一个简单而有效的解决方案，称为 NeRF 增强型外画 NEO，它使用通过 NeRF 生成的扩展 FOV 图像来训练特定于场景的图像外画模型。为了评估 NEO 的性能，我们对三个真实感数据集和一个真实世界数据集进行了综合评估。对基准数据集的广泛实验展示了我们的方法在应对这一挑战方面的稳健性和潜力。

MISFIT-V: Misaligned Image Synthesis and Fusion using Information from Thermal and Visual Authors Aadhar Chauhan, Isaac Remy, Danny Broyles, Karen Leung 从机载视觉和热图像中检测人类是荒野搜索和救援 WiSAR 团队面临的一项基本挑战，他们必须在巨大的压力下准确地执行此功能。融合这两种传感器模式的能力可以潜在地减少人类操作员的认知负担，并/或提高计算机视觉对象检测模型的有效性。然而，由于硬件限制和极端环境因素，融合任务在 WiSAR 背景下尤其具有挑战性。这项工作提出了使用来自热和视觉信息的错位图像合成和融合 MISFIT V，这是一种新颖的两管齐下的无监督深度学习方法，利用生成对抗网络 GAN 和交叉注意机制来捕获每种模态中最相关的特征。

Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning Authors Lakshmi Narasimhan Govindarajan, Rex G Liu, Drew Linsley, Alekh Karkada Ashok, Max Reuter, Michael J Frank, Thomas Serre 人类通过与环境互动并感知其行为的结果来学习。人工智能领域的一个里程碑是深度强化学习 dRL 算法的发展，该算法能够在视频游戏中实现相同的效果，与人类相当甚至更好。然而，目前尚不清楚 dRL 模型的成功是否反映了视觉表示学习的进步、强化学习算法在发现更好策略方面的有效性，或两者兼而有之。为了解决这个问题，我们引入了学习挑战诊断器 LCD，这是一种单独测量任务的感知和强化学习需求的工具。我们使用 LCD 在 Procgen 基准测试中发现了一种新颖的挑战分类法，并证明这些预测既高度可靠，又可以指导算法开发。

Pixel-wise Smoothing for Certified Robustness against Camera Motion Perturbations Authors Hanjiang Hu, Zuxin Liu, Linyi Li, Jiacheng Zhu, Ding Zhao 近年来，计算机视觉在自动驾驶和机器人技术方面取得了显着的进步。然而，据观察，基于深度学习的视觉感知模型在面对相机运动扰动时缺乏鲁棒性。由于 3D 相机运动空间中的蒙特卡罗采样需要大量图像投影，当前用于评估鲁棒性的认证流程成本高昂且耗时。为了应对这些挑战，我们提出了一种新颖、高效且​​实用的框架，用于验证 3D 2D 投影变换对相机运动扰动的鲁棒性。我们的方法利用 2D 像素空间而不是 3D 物理空间的平滑分布，消除了昂贵的相机运动采样的需要，并显着提高了鲁棒性认证的效率。通过像素级平滑分类器，我们能够使用相机运动空间中的均匀分区技术来完全限制投影误差的上限。此外，我们将认证框架扩展到更通用的场景，其中投影预言机中只需要单帧点云。这是通过导出基于 Lipschitz 的近似分区间隔来实现的。通过广泛的实验，我们验证了我们提出的方法所实现的有效性和效率之间的权衡。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com