戴上这副眼镜，启动你的感知超能力
“你说什么？听不见！再说一遍！”在震耳欲聋的音乐节现场或者吵闹的酒吧，我们和他人交往的唯一方式只能“贴近耳边开吼”，此时此刻，真是恨不得有一个开关让全世界都静音，只让对方开口说话。不过，这个梦想终于有可能变成现实了，载体却是一副眼镜。
FRL AR增强技术眼睛发布会现场 | www.theverge.com
最近，Facebook旗下的“Facebook现实实验室”（简称FRL)，公布了2项新突破：一种让人在嘈杂环境中听清楚自己想要的信息，同时调低背景噪音；另一种让耳机里的声音保真度高到无法与现实世界的声音区分开来。当这两项神奇的技术被集成在一副可穿戴设备AR 眼镜上，会发生什么神奇的事情?
人群中，只有你的声音被倾听
首先，这款AR眼镜上有多个麦克风，可以捕捉佩戴者周围的声音，同时记录他的头部和眼镜的运动模式，找出他最感兴趣的声音，并消除其他背景噪音。这样即使在嘈杂的环境中，也可让佩戴者清晰地听到他想要的声音。
佩戴FRL团队AR眼镜与麦克风的交谈者 | www.businessinsider.com
这是如何实现的呢？Facebook团队采用的是名为“近场波束形成”的技术——麦克风按照一定的形状和规则布置的阵列，即麦克风阵列，是对空间传播信号进行采样的装置。根据声源和麦克风阵列距离的远近，声场模型分为近场模型和远场模型。
FRL内部的声学实验室 | www.theverge.com
大多数的麦克风阵列语音增强方法，建立在声源位于阵列远场的假设基础上。这种语音增强模型在大房间会议室中有比较好的应用，但如果房间较小，声源和麦克风距离较近，这种语音增强模式性能就急剧下降。研究证明，在小房间混响条件下，近场波束形成技术可以有效抑制噪音、提高语音信号质量。
这种“感知超能力”（perceptual superpowers），可能给听障人士带来新希望。根据2019年世卫组织的数据，全球大约有4.66亿人患有残疾性听力损失，超过全世界人口的5%，其中有3400万是儿童。不过其中许多人因为费用、不适感、社会耻辱感等问题没有使用助听器。AR眼镜将有可能提高听障人士的生活便利性，增强他们的社交生活。
另外，对普通人来讲，长时间暴露在85分贝以上的噪声水平下，可能导致听力下降。只听想要的声音而降低背景噪音，延长耳朵的服役年限，年纪大了还能耳聪目明。
所听即所见，给你一个真实的声音世界
新冠疫情期间，在家办公的上班族要想开会，就只能通过视频会议平台，而这种方式依然让人觉得有距离，不如面对面谈话来得亲切。Facebook另一项“音频存在”（audio presence）技术，就是让人难以区分现实世界的声音和耳机里的声音，呈现逼真的音效效果。这样你在打视频电话时，即便对方处在另一个半球，听起来却好像就在你面前。
要让声音“逼真”并不容易。当有人在你房间里和你说话时，你的一只耳朵会比另一只耳朵先听到声音，每只耳朵听到的音量也是不同的。声音和你所处的环境也会有相互作用，比如声音会从墙壁上反弹再进入耳朵。另外，耳朵的形状也会微微改变每个人听到的声音。所有这些信号都告诉大脑声源在哪里。如果能准确地再现这个过程，就能高度复刻真实世界的声音了。
要实现这个目标，就需要考虑每个人不同的耳朵形状，获得“头相关变换函数”（HRTF），以实现个性化的音频体验。HRTF是一种声音定位的处理技术，人类只有两只耳朵，却能从三个维度——距离、高度、前后两侧方位来定位声音。HRTF是高度个人化的，但每个人到实验室做一遍实验获取数据并不现实，因此研究团队希望开发一种更方便的算法，只要有耳朵的照片就可以估算HRTF。
在FRL团队的模拟试验中，志愿者很难区分声音究竟是耳机里传出来的还是现实世界的，这种音频模拟技术已经取得了一定成效。如果技术成熟，加上逼真的3D重建和共享虚拟空间，你可以和千里之外的亲朋好友亲密互动，而不只限于现在的文字对话或者充满距离感的视频通话，或许异地恋的成功率都会提高！
给你一个私人订制的融合世界
FRL介绍说，希望这副眼镜能够改变穿戴者感知外部世界的视觉和听觉维度，呈现一个更加个性化定制，更加友好的外部环境，比如当你走进一家餐厅时，AR眼镜就会自动识别你周围发生的不同类型的事件：人们的对话，空调的噪音和餐具的叮当声，然后为你做出智能决策。
AR眼睛加LiveMaps，你眼中的现实世界立刻会变得截然不同 | www.businessinsider.com
不过Facebook的雄心不止于此，他们希望用AR眼镜加上自己的AR增强实时地图LiveMaps（可以把它看做一个三维实景版的谷歌地图），打造一个全新的真假交织的世界。人们可以以全息图的形式周游世界，参观新的地点，和远方的家人吃饭。当孩子们路过一只小动物时，相关的信息会从动物旁边弹出，让孩子获得更强的参与感。
遇到动物，相关信息就自动从它身边弹出，LiveMaps可以帮助孩子更好地认知陌生的世界 |https://next.reality.news
这个美妙的图景也同样让人不安，Facebook月活跃用户人数已经接近30亿，和微信一样几乎重塑人们的现实生活。而LiveMaps则是对物理世界的重构，对日常生活的渗透达到新的深度，这必然伴随着大量收集数据的过程。Facebook在隐私上并未获得多好的信任感，在处理用户敏感信息方面麻烦不断，面临多场诉讼和国会质询。为了更好的AR体验，用户愿意让渡多少隐私呢？
当然，等技术成熟也需要时间。Facebook的首席科学家对路透社表示，距离这款AR眼镜彻底成熟，变成面向市场的可穿戴电子设备，还有大约5-10年的时间，不过光是想象，就已经让人足够激动。
参考文献
[1]https://www.who.int/zh/news-room/fact-sheets/detail/deafness-and-hearing-loss
[2]https://en.wikipedia.org/wiki/Head-related_transfer_function
[3]https://tech.fb.com/inside-facebook-reality-labs-research-the-future-of-audio/
[4]https://investor.fb.com/investor-news/press-release-details/2020/Facebook-Reports-First-Quarter-2020-Results/default.aspx
作者：以殷
编辑：朱步冲
一个AI
不想听另一半唠叨，就直接戴上眼镜屏蔽Ta
本文来自果壳，未经授权不得转载.
如有需要请联系[email protected]
