《强化学习周刊》第5期：强化学习应用之机器人

No.05

智源社区

强化学习组

强

化

学

 习

研究

观点

资源

活动

关于周刊

强化学习作为人工智能领域研究热点之一，它在机器人领域中的应用的研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第5期《强化学习周刊》。本期周刊整理了近期内强化学习在机器人方面相关的研究动态、最新论文、研究综述、教程&活动、新工具等。

 

周刊采用社区协作的模式产生，欢迎感兴趣的朋友们参与我们的工作，一起来推动强化学习社群的分享、学习和交流活动。可以扫描文末的二维码加入强化学习社区群。

本期贡献者：（任黎明，刘延龙，陈斌，赟瑾）

论文推荐

将深度RL应用于各种机器人任务的案例研究中。应用范围包括自主导航、控制策略选择、物体抓取，学习复杂的操作技能、步态控制等。在RL中，为了学习如何控制机器人和最大化奖励，需要状态-动作序列(轨迹)的样本。在基于模型的RL中，样本被用来学习环境的动态模型，以用于规划或最优控制算法来产生一个策略或控制序列，使机器人的感知、策略选择和运动控制等能力都得到了较大程度地提升。

强化学习在机器人领域有着长足的发展，在机器人控制、室内外导航、避障等方向都有了深入的应用。本次推荐了5篇与强化学习在机器人领域应用相关的论文，内容覆盖了导航、避障、多智能体协同等。

 

标题：Rule-Based Reinforcement Learning for Efficient Robot Navigation with Space Reduction（基于规则强化学习在空间缩减机器人高效导航中的应用）了解详情

 简介：本文提出了一种基于规则的RL（RuRL）空间缩减机器人导航算法，其应用三条规则以减少冗余探测空间，并指导探测策略。通过使用SLAM移动机器人构建地图，以评估单空间环境和多空间环境下的RuRL。实验结果表明，RuRL能有效地提高导航性能，并具有良好的可扩展性。

论文链接：

https://arxiv.org/pdf/2104.07282.pdf

 

标题：Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems（基于深度强化学习的避障技术在传统自主导航系统中的应用研究）了解详情

简介：本文提出了一个将DRL局部规划器融入远程导航的框架，其将局部规划器与经典的全局规划器相结合。此外，将各种传统的基于模型和基于学习的避障算法集成到本文的系统中，以提出一种基于DRL的使用记忆增强A3C的局部规划器。研究结果表明，基于深度强化学习的规划器在安全性、效率和稳健性方面，与传统的基于模型的规划器相比都具有优越性。

论文链接：

https://arxiv.org/pdf/2104.03616.pdf

标题：Two-stage training algorithm for AI robot soccer（AI足球机器人的两阶段训练算法）了解详情

简介：本文针对CTDE框架对于异构多agent学习个体行为效率较低的问题。提出了一种新颖的两阶段异构集中训练（TSHCT）方法，其允许异构智能体学习多个角色并进行协作行为。在多智能体协同竞争环境下，用5V5AI机器人足球进行了实验研究。结果表明，TSHCT能够有效地训练AI机器人足球队，并获得了更高的个人角色奖励和总奖励。

论文链接：https://arxiv.org/pdf/2104.07282.pdf

 

标题：Robotic assembly of timber joints using reinforcement learning（使用强化学习对木材关节进行机器人组装）了解详情

简介：在建筑结构中，由于出现公差大，小批量生产和复杂的接触情况，尤其是在具有封闭形状的元件（例如具有整体接头的木材结构）的组装中，自动化机器人组装具有挑战性。文章建议将“强化学习”应用于在接触丰富且容易产生公差的装配任务中控制机器人的运动，并提出在建筑构造背景下这种方法的首次成功演示。以用于定制木构架的搭接接头的组装为例，通过力/扭矩和姿势数据引导机器人运动，以将木构元素插入其配对对象中。文章使用改编的Ape-X DDPG算法，可以对控制策略进行完全的仿真训练，并在实际中成功部署。

论文链接：https://www.sciencedirect.com/science/article/pii/S0926580521000200

  

标题：Transfer Reinforcement Learning Across Homotopy Classes（跨同构类的迁移强化学习）了解详情

简介：本文从机器人新任务知识迁移的问题展开研究。证明了一些异构场景迁移效果不佳，同时也提出了自己的微调算法Ease-In-Ease-Out。在多个机器人环境中进行了验证，效果超越基线。

论文链接：https://arxiv.org/pdf/2102.05207.pdf

研究综述

标题：How to train your robot with deep reinforcement learning: lessons we have learned(怎样用深度强化学习训练你的机器人？)了解详情

简介：本文从机器人工程的角度介绍了RL在机器人训练运用中很多典型案例，也总结了许多训练中存在的潜在挑战，如:采样效率，多任务学习及元学习，初始化，稳定性等, 非常值得感兴趣的研究人员详细阅读。

论文链接：https://journals.sagepub.com/doi/pdf/10.1177/0278364920987859

 

标题：Reinforcement Learning Approaches in Social Robotics社会机器人中的强化学习方法了解详情

简介：文章概述了社交机器人中的强化学习方法。我们对社交机器人中的强化学习方法进行了全面的分析。除调查外，我们还根据使用的方法和奖励机制的设计对现有的强化学习方法进行分类。而且，由于交流能力是社交机器人的显着特征，因此，我们根据用于奖励制定的交流媒介对论文进行讨论和分组。考虑到设计奖励功能的重要性，我们还根据奖励的性质对论文进行了分类。此分类包括三个主要主题：交互式强化学习，内在动机方法和任务绩效驱动方法。

论文链接：https://www.mdpi.com/1424-8220/21/4/1292

 

标题：基于深度强化学习的机器人运动控制研究进展了解详情

简介：本文是一篇对于基于DRL的机器人运动控制研究的综述型文章。首先讲述了深度强化学习DRL的发展，然后阐释了基于值函数和策略梯度的两类深度强化学习算法中的典型算法。之后，介绍了五种常用机器人控制仿真平台。并根据研究类型和机器人运动控制面向的五个方面，分别讲述了其研究进展。最后，对现有的挑战和未来的发展趋势进行了总结与展望。

论文链接：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJLAST&filename=KZYC2021040100B&v=OKAgri6ShmNpjHx1kdZgNjwHaRzApTbljCTU%25mmd2F4FVbDE7o64XP6oTcUFslvoEUoTA

研究动态

Robotics at Google ：可操作模型：机器人技能的无监督离线强化学习了解详情

简介：本文提出了一种正则化方法和一种目标链技术，其通过离线、无模型的RL学习来学习以目标为条件的策略，以确保不会过高估计未知动作的Q值，并实现跨多个事件的目标。研究表明，通过微调预先训练的目标条件模型，或通过将训练过程中的目标作为辅助目标，可以更有效地学习下游RL任务。

 

AI助两足机器人自学走路，还能旋转跳跃加速度了解详情

简介：近日，加州大学伯克利分校的研究团队打造了一个两条腿的机器人Cassie（凯西），它可以通过AI强化学习自己学会走路，而非直接编程或模仿来学习。相比传统经典模型法，强化学习无需建模，而是通过AI学习框架让Cassie以“试错”的方式进行自主训练，类似于婴儿学走路，主动适应环境渐渐执行敏捷、稳定、多样化的行走动作。行走之外，Cassie还会不断学习跑步、跳跃等新技能，还可实现自动调速功能。未来，基于AI强化学习这一技术，运动机器人也将更为敏捷。

 

围观！卡耐基梅隆大学用上中国造？要玩转自主导航机器人领域？了解详情

简介：近日，卡耐基梅隆大学 Safe AI Lab (人工智能安全实验室) 赵鼎教授团队分享了其在自主导航机器人领域的最新研究方向，该项目以开源自主连接和自动化研究车辆平台（OpenCAV Platform）为基础，通过搭建包括雷达、激光雷达、摄像机等一系列传感器，实现了机器人室内外导航、避障等功能。未来该团队打算基于SCOUT MINI机器人平台以及松灵提供的Webots仿真模型，搭建一套包含多种动态物体和多机器人的仿真环境。基于此环境，可以做一些多机器人在动态环境下的协同算法，比如使用强化学习等等。此外，该团队还打算利用这个平台做一些和人行道上送货机器人相关的工作。

新工具

Meta-World | 多任务机械臂元学习仿真平台了解详情

简介：此平台是由斯坦福，UC伯克利等大学及研究机构合作研发。提供了多种机器人任务及基线，为元学习的研究提供的很好的实验环境及基线。

活动

13位院士+诺奖得主，“人工智能与机器人2021”（AIRS2021）大会议程公布！

了解详情

简介：“人工智能与机器人2021（International Symposium on Artificial Intelligence and Robotics for Society, 简称 AIRS2021）——历史转折点的科技”由深圳市人工智能与机器人研究院（AIRS）主办，香港中文大学（深圳）联合主办，将于4月25日至26日在深圳举办。

如果你正在从事或关注 强化学习研究、实现与应用，欢迎加入“智源社区-强化学习-交流群”。在这里，你可以：

 

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

请扫描下方二维码加入。