AI通过墙壁感知人们的姿势

X射线视觉长期以来似乎是一种遥不可及的科幻幻想，但在过去的十年中，麻省理工学院计算机科学与人工智能实验室（CSAIL）的Dina Katabi教授领导的研究小组不断让我们更加接近透视墙壁。

他们的最新项目“RF-Pose”使用人工智能（AI）教导无线设备感知人们的姿势和动作，即使是从墙壁的另一端。

研究人员使用神经网络来分析无线电信号，从人体上反弹出来，然后创建一个动态棒图，当人们执行这些操作时，它会走路，停止，坐下并移动其四肢。

该团队表示，该系统可用于监测帕金森病和多发性硬化症（MS）等疾病，从而更好地了解疾病进展，并允许医生相应调整药物。它还可以帮助老年人更独立地生活，同时为跌倒，受伤和活动模式变化提供更多的安全保障。

（团队收集的所有数据都经过了科目的同意，并且是匿名化和加密的，以保护用户的隐私。对于未来的真实世界的应用，团队计划实施一种“同意机制”，安装设备的人被引导去做具体的一系列动作，以便开始监测环境。）

该团队目前正在与医生合作探索医疗领域的多种应用。

“我们已经看到，监控病人的步行速度和自己做基本活动的能力为医疗保健提供者提供了一个他们以前从未有过的生活的窗口，这对于一系列疾病可能是有意义的，”Katabi说。 ，他共同撰写了关于该项目的新文件。“我们方法的一个关键优势是患者不必佩戴传感器或记住给他们的设备充电。”

除了医疗保健外，该团队还表示RF-Pose还可用于玩家在房屋周围移动的新类视频游戏，甚至可用于搜索和救援任务以帮助定位幸存者。

“就像手机和Wi-Fi路由器已成为当今家庭的重要组成部分一样，我相信像这样的无线技术将有助于为未来的家庭提供动力，”Katabi说，他与博士生共同撰写了这篇新论文，作家赵明敏，麻省理工学院教授安东尼奥托拉尔巴，博士后穆罕默德阿布阿尔谢赫，研究生李天红和博士生田永龙和赵航。他们将在本月晚些时候在犹他州盐湖城的计算机视觉和模式识别（CVPR）会议上发布。

研究人员必须解决的一个挑战是大多数神经网络都是使用手工标记的数据进行训练的。例如，训练识别猫的神经网络要求人们查看图像的大数据集，并将每个图像标记为“猫”或“不是猫”。与此同时，无线电信号不容易被人类标记。

为了解决这个问题，研究人员收集了使用无线设备和相机的例子。他们收集了成千上万的人们进行行走，谈话，坐着，打开门和等待电梯等活动的图像。

然后，他们使用这些来自相机的图像来提取他们向神经网络显示的棒形图以及相应的无线电信号。这些例子的组合使得系统能够学习无线电信号和场景中人物的棒图之间的关联。

训练结束后，RF-Pose能够在没有摄像头的情况下评估一个人的姿势和动作，只使用反射人体的无线反射。

由于摄像机无法透过墙壁看到，网络从来没有接受过来自墙壁另一侧的数据的明确培训 - 这让麻省理工学院团队特别惊讶，网络可以将其知识概括为能够通过处理墙壁运动。

“如果你认为计算机视觉系统是老师，这是一个真正令人着迷的例子，学生的表现超过了老师，”Torralba说。

除了感知移动之外，作者还表示，他们可以使用无线信号，在100个人的阵容中83％的时间内准确地识别出某人。这种能力对于搜索和救援行动的应用可能特别有用，因为它可能有助于了解特定人员的身份。

在本文中，该模型输出一个二维棒图，但该团队也在努力创建能够反映更小微动的3-D表示。例如，它可能能够看到一个老年人的手是否经常摇晃，以至于他们可能想要接受检查。

“通过使用这种可视化数据和人工智能的组合来观察墙壁，我们可以让更好的场景理解和更智能的环境更安全，更有效地生活，”赵先生说。