墙后的全部姿势,全被“瞎眼”AI透视

李林 若朴 发自 凹非寺
量子位 出品 | 公众号 QbitAI

墙后的全部姿势,全被“瞎眼”AI透视_第1张图片

古人云,隔墙有耳。

但想要做到“隔墙有眼”,就像二娃那样,能穿墙透视,似乎是种遥不可及的本领。

如今。MIT CSAIL的一群科学家。就用AI构建了一双透视眼。

你在墙后的一举一动,它就都能看见。这项研究,作为spotlight论文发表在CVPR 2018上。

呐,效果就是这样。



识别的方式,就是把人体简略成一套主要的骨架结构。不同部位。用不同的颜色标示,左右手、左右腿都不一样。

即便你走到墙后。人眼看不到,但AI一样能准确判断你的位置与姿势。基本算是开了一个透视外挂。

墙都挡不住这套系统。窗帘就更不在话下了。



黑灯瞎火的地方,也全然不是问题。



上面这个演示。我们还能够看到,这个AI认出了两个人。

没错,这个AI还能同一时候识别多人的姿态。

并且即便是多人同一时候交叉行进的复杂场景,这个AI也能顺利搞定。



看到这,你可能会说:除了穿墙之外,其它的演示,并不算炸裂啊。这种人体姿态的识别。已经早有人做了。不是么?

没错。

但这个AI,事实上是个眼瞎的“盲AI”!

穿墙透视也好,多人识别也好,依靠的全都不是视觉信号,实际上。根本没给AI视觉信号。

那,这个AI靠什么识别人体?

无线电波。

它用的无线电波有点相似大家常见的WiFi信号,可是功率更弱一些。利用无线信号在人身上的反射。来“看清”人体。

因此,这个AI的名字就叫RF-Pose,从射频到姿势的意思。

来,感受下这两张图。看看你能不能脑补出人体姿势。



透视眼修炼之道

我们前面提到过,RF-Pose识别人类动作时。依据的并非视频。而是无线电波的反射。

而想要训练这样一个AI,面临着一个严重困难:

根本没有标注好的数据集可用。

更要命的是,就算你纠集一批人类,想群策群力标注一个这种数据集。也全然不可行——无线电信号那个微弱粗糙的分辨率,我们人类根本认不出。

这个困难,在训练过程中无法回避。于是,他们用上了“跨模态监督”方法,在无线电波接收器旁边加了个摄像头,同步记录无线电波和视频,然后从视频流中提取人体姿势信息,用作无线电波的监督信号。

他们在MIT校园里收集了50小时的数据集,男女老少都不放过,场景包括办公室、食堂、教师、报告厅、楼梯、走廊等等50余处。

墙后的全部姿势,全被“瞎眼”AI透视_第2张图片

在这个数据集里。最热闹的数据帧包括14个人。最少的当然是全然没有人。

也就是说,数据集包括两大部分:图像上能看到人的、和人被遮挡了的。

MIT团队从图像上能看到人的部分选取70用于训练,30%留作測试用,而人被遮挡的数据全都用来測试。

70%能看见人的数据,拿来训练了一个跨模态“师生网络”。

墙后的全部姿势,全被“瞎眼”AI透视_第3张图片

在这个网络中,老师以图像为输入,预測出人体关键点的置信图,学生以射频信号为输入,以和老师最接近为目标,学着预測人体关键点置信图。

从置信图再生成出我们终于看到的骨架模型,RF-Pose的透视技能就算修炼完毕了。

无线新方向

这篇论文的作者。包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

墙后的全部姿势,全被“瞎眼”AI透视_第4张图片

当中一作Mingmin Zhao(赵明民)。本科毕业于北京大学,眼下在MIT读博。去年夏天。赵明民发表过还有一篇AI+无线信号的论文。主要用这个技术来监測人类的睡眠情况。论文发表在ICML 2017上。

论文传送门:http://sleep.csail.mit.edu/

此前,他还研究过使用无线信号识别表情。

传送门:http://eqradio.csail.mit.edu/

墙后的全部姿势,全被“瞎眼”AI透视_第5张图片

你看。这事实上是一整套技术。

不用安装摄像头。仅仅须要通过相似WiFi的无线信号,如今就能知道你在哪,有什么动作,是什么姿势。情绪怎么样。心跳快不快以及睡眠质量怎么样……等等。

当然这套技术并非要窥探你的隐私。

而是有更广泛的应用场景。比如,帮忙监測家里的老人或者医院的病人。这套系统有几个优点。

首先,不用摄像头,省却了非常多隐私的担忧。

其次。这个技术能比較准确的识别出不同的人。并且追踪行动、姿态、情绪等相关数据。

再次。监測能够穿墙而过,不受干扰。

以及。被监測对象能够不必佩戴随身不论什么其它设备,轻松高效。

总之这是个非常有意思的方向。当然这一方向的研究,还有大量的工作须要完毕。比方,这个团队会继续寻求捕捉更细微的动作,比如老人的手部颤抖等。当然透视监測的准确率,也须要进一步提升。

而赵明民之所以一直研究这个方向。事实上源于他的导师:Dina Katabi。

墙后的全部姿势,全被“瞎眼”AI透视_第6张图片

Katabi教授一直在研究无线技术。她是CSAIL实验室NETMIT研究组负责人。也是MIT无线网络和移动计算中心的主任。

上面提到的全部研究。事实上都没有细讲无线信号的问题。

实际上,Katabi团队在2015年发表的一篇论文里,对这件事有更为具体的描写叙述。论文题目:Capturing the Human Figure Through a Wall。

在这篇论文里。披露了当时那套无线设备的一些细节。

呐。就是这样。

墙后的全部姿势,全被“瞎眼”AI透视_第7张图片

研究传送门

项目主页
http://rfpose.csail.mit.edu/

论文

Through-Wall Human Pose Estimation Using Radio Signals
Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi
Computer Vision and Pattern Recognition (CVPR), 2018
http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

说明一下,眼下这个AI的监測效果,在没有遮挡的情况下。准确率62.4%。须要穿墙透视的时候。它的准确率是58.1%。

先别太苛刻,这个AI还是个宝宝嘛。就算是看着视频来识别姿势,如今AI的准确率也并没有非常高。2017年旷视在MS COCO人体关键点检測夺冠的成绩。也才73%而已。

判断出人体姿势之后。AI还能进行一些其它工作:比方依据这个骨架结构来认人。

给AI两秒钟的骨架活动片段。它认人的准确率就能达到83%。

活动报名

墙后的全部姿势,全被“瞎眼”AI透视_第8张图片

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。

期待有才气、有热情的同学增加我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

墙后的全部姿势,全被“瞎眼”AI透视_第9张图片

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态


转载于:https://www.cnblogs.com/ljbguanli/p/9899951.html

你可能感兴趣的:(墙后的全部姿势,全被“瞎眼”AI透视)