Vision Pro:为什么空间音频是AR的绝杀武器?

Apple Vision Pro,不仅仅是苹果全新的重磅品类,而且在它身上也融合了苹果过去几乎所有新技术,比如空间音频就是其中一个例子。

苹果表示,Vision Pro中空间音频可以很好的应用在:影视节目、游戏内容、3D空间照片、3D空间视频、视频通话、等,甚至整个系统和UI交互中也充分融合空间音频的能力。

Vision Pro:为什么AR需要空间音频?

而苹果如何高规格的打造Vision Pro,更是在告诉大家,空间音频将是AR、MR设备的一大杀器,它对于提升临场感至关重要。

Vision Pro:为什么空间音频是AR的绝杀武器?_第1张图片

1,苹果最强空间音频系统

Vision Pro和大多数AR、VR一样,采用了开放式扬声器方案,整体的设计相对中庸一些,因为整体模组体积比较大,在头显硬质绑带上还是有点突出。

据悉,苹果Vision Pro描述页面显示:这是苹果有史以来最强的空间音频系统。

Vision Pro:为什么空间音频是AR的绝杀武器?_第2张图片

在此之前,我体验到最好的空间音频AR、VR设备包括:HoloLens 2,它不仅临场感十足,而且音频定向传播控制极其出色,在旁边的人几乎听不到设备的声音。

2,音频射线追踪

根据现场体验的反馈,所有人在体验之前都实现通过iPhone原生感相机扫描耳朵轮廓,从而为Vision Pro体验提供更适合你个人的空间音频效果。

Vision Pro:为什么空间音频是AR的绝杀武器?_第3张图片

该技术最早是在WWDC22上公布,其目标是AirPods Pro提供更符合你耳朵轮廓的空间音频效果。因为AirPods耳机的设计是在保证佩戴舒适性,同时在数千人不同耳朵轮廓的基础上建立了一个通用HRTF模型,来打造出适用性较广的空间音频能力。

而在Vision Pro上,则更进一步。

目前大家可以通过具备空间音频的AirPods Pro等产品来了解空间音频的能力。但是我要说的是,在Vision Pro中的空间音频将会更进一步。

其中一个重要逻辑就是:它会充分融合设备中LiDAR扫描,对房间内声学特性(物理材质等)进行分析,然后打造出适用于你耳朵轮廓且匹配你房间的“空间音频”效果。

上面这项技术,被苹果称为“音频射线追踪”(Audio Raytracing)。当然,在部分VR游戏中已经支持此技术,只不过对照关系都在游戏的虚拟场景之内。

相比AirPods Pro的空间音频,Vision Pro中既考虑你的耳朵轮廓信息,又融合(虚拟场景的)声音在房间内传播特性,来达到虚实融合的目的。

3,visionOS音频交互

在WWDC公开课中,我们也看到了苹果visionOS的声音交互设计指南。从中我们了解到,更多的声音交互层面的信息。

空间中还原声音的目标是:

  • 1,正确的音源位置;
  • 2,正确的音源方向。

围绕这两点,再加上一些技巧基本可以很好的设计好空间音频交互。

其中主要的要求是:

  • 1,背景音舒适、音量合适、不刺耳、不聒噪;
  • 2,前后景声音分明,利用好声音位置信息;
  • 3,需要明确左右位置,提供明确的声音方向;
  • 4,背景回响,提升整体氛围感;
  • 5,声音和视觉交互锚定,整体具备层次感。

参考:Apple

你可能感兴趣的:(音视频,ar)