国外牛人深度强化学习训练双足机器人Cassie，如今的它可以变着花样行走

来源 | 机器人大讲堂

原创 | 小木

导读

双足机器人Cassie虽然相比于波士顿动力的Atlas名气稍微逊色一点，但一直以来它凭借特殊的外形，稳定的行走步态，扎实的进化速度，以及时不时传来即将商业化（送快递）的消失，也使其那腿足机器人领域有了一定知名度。近日，Cassie又更新了一段视频，视频中这只当初只会向前行走的双足机器人，一下子学会了很多行走方式。而这一切都归功于深度强化学习对于Cassie的训练，下面让我们一起来看看Cassie都学会了哪些本领。

---

近日，来自加拿大不列颠哥伦比亚大学计算机系和俄勒冈州立大学动力机器人实验室两所机构利用深度强化学习，共同训练了双足机器人Cassie的步态。让Cassie在短时间内学会了很多新技能。

Cassie之前便很受欢迎，但其行走步态基本上也只是停留在向前行走，或者跨越一些简单的台阶类的障碍物。

之前的Cassie能够平地起跳在很多人眼里已经很优秀了。

但如今的Cassie显然已经脱离了简单的学走路模式，它不仅能够在传送带上平稳的向前走动，还能灵活的应对各种突如其来的变故。

比如传送带突然加速，它能通过调节步伐大小与迈步频率跟上传送带的速度。

即使由于某次行走不稳，一只脚已经踩到了传送带的边缘，也能通过自身的调节迅速走回到传送带中间，平稳的前进。

面对路面上突如其来的木板等障碍物，也能化险为夷，不致摔倒。

甚至它还学会了在传送带上倒着行走。

或者侧过体位横向行走。

总之，有深度强化学习加持的双足机器人Cassie，其进化速度显然已经远远超越之前，并且在适应地形和更好的行走方面都表现的异常优秀。下面就让我们来看一下训练中的Cassie的完整视频吧。

https://v.qq.com/x/page/y0867m5tczi.html?start=undefined

Cassie是如何学会这么多步态的：

深度学习在图像分类、图像分割、动作识别、语义理解、围棋、Flappy Bird、Dota等许多领域的高度非线性任务学习的问题上，取得了巨大的成就，但是将深度学习应用于真实世界机器人，还存在许多挑战和困难，例如需要依赖在虚拟环境下长时间的加速训练、虚拟环境模型与真实世界存在差异、机器人硬件的磨损等等。

加拿大大不列颠哥伦比亚大学计算机系和俄勒冈州立大学动力机器人实验室的研究人员对此进行了探索。为了让双足机器人学会在不同的速度下平稳地行走，研究人员提出一种简单而有效的方法，奖励函数在每一次迭代中可以重新定义，来学习新的策略，从虚拟环境下获取5-10K样本，然后通过这些少量样本将强化学习和有监督学习结合，学习机器人行走策略，并更成功转移到真实世界的机器人。

他们首次成功将深度学习应用于人体真实比例的双足机器人——Cassie机器人，Cassie双足机器人身高大约1米，体重31千克，腿部结构复杂，和人一样具有三自由度的髋关节，腿部可以向前、后、和侧面移动，同时还能完成腿部的旋转动作。在Cassie机器人的实验表明，通过这些研究人员所提出的方法，在虚拟环境下学习的策略可以不通过任何动态随机选择就可以转移到真实世界的机器人，同时可以实现在少量样本下的双足机器人行走技能学习，在不同的速度下，机器人都可以进行稳定的行走。

想看此篇文章完整论文，点击这里：

https://arxiv.org/abs/1903.09537

 

—— 完 ——