MirrorSys：沉浸式现实是一种怎样的体验？

文/James Begole博士

倘若你曾被一部小说的情节深深吸引，可能你并不需要任何视觉细节来说服你深信不疑，因为故事本身便会让你身临其境。视频游戏也如此，例如Minecraft（我的世界）这款采用低保真数据块的视频游戏引人入胜，其带来的体验并不亚于最先进的、具有照片般画面质量的游戏。低保真手机游戏已经深深地打入高保真游戏机市场，其主要原因就是人们可以随时随地酣畅淋漓地沉浸到游戏当中。然而，研究表明，视觉和听觉细节的确会影响我们对现实的感知，让我们对现实更加深信不疑；与此同时，逼真的视觉及听觉效果也更能让我们身临其境，仿佛置身于整个故事中，成为故事不可分割的一部分。

何为沉浸式体验？

游戏大概是沉浸式现实（Immersive Reality）最具代表性的杀手级应用。在游戏中，玩家头戴耳机，畅游在一个人造世界中。然而，虚拟现实并不局限于由电脑生成的人造世界，它还包括让远在天边的场景变得近在咫尺。通过部署高清摄像机、麦克风和低时延网络，我们的眼睛和耳朵能够感知来自遥远地区的光和声，从而使这一切变得真真切切。这种远程现实是虚拟现实的一种。远程现实中的所有实物都是现实世界中真实存在的，只是不在你眼前而已。

如今摄像机已经具备了令人惊异的高分辨率。典型的消费型摄像机像素已经超过了1200万，甚至一些图片传感器的像素已经超过了1.2亿。同时，显示器分辨率也从高清（200万像素）提升至4K超高清（800万像素），并且新的显示屏幕的分辨率可以达到8K（3200万像素）。或许我们在轻松后仰着看电视或电影时，这些分辨率已经绰绰有余。然而当我们身处一种远程空间进行交流时，这些分辨率是否足够让我们随心所欲地跟踪目标并调整焦距、产生一种沉浸式体验呢？

传统的电影和电视带给观众的都是一种“后仰式”经历，观众只能被动地聆听别人讲故事，或者跟随摄像机的镜头移动而移动。然而在沉浸式体验中，每一个观众都可以定义自己的兴趣点，他们的兴趣点可以根据活动场景随时变更。说的再清楚一点就是——他们正在重现现实。这并不像在拍摄电影或者讲述故事时那样，把观众的注意力引向某一场景中的某一主角或某一物体上。在沉浸式现实中，一个观众想要的所有视觉和听觉数据在他们转头的瞬间就必须准备就绪。

沉浸式远程现实开启了新的交互体验，在这种体验中，丰富的视觉细节影响巨大。想象一下，世界各地的外科医生们能够给病人远程实施手术，娴熟的技术人员能够远程制造并修复复杂的机器，学生能够触及地球上最前沿的科学并最终迈向地球以外的广袤领域。人们很快将能乘坐无人驾驶飞机去异域旅行，操纵机器人与人会谈，在全球最独特的精品店里购物，身临其境地观看赛场上世界级运动员的表演，以及和乐队一起在台上感受现场音乐带来的震撼体验——所有这一切都将通过低时延网络实时呈现。

这些体验价值很明确，但是，发展相关技术仍然存在一些关键问题，例如：要实现沉浸式体验价值的最大化，有哪些不可逾越的限制？一旦这个问题能够得到回答，我们就能够知道摄像机、显示器和网络需要处理的数据量上限。

人类视觉感知的上限

事实证明，即使是如今最先进的摄像机和显示器也仅能呈现我们周围世界的只鳞片爪。人眼的点分辨能力为0.3角分，这意味着，人眼每一度能够区分将近200个截然不同的点。倘若我们将其转化成屏幕上的“像素”，需要取决于像素的大小以及人眼与屏幕之间的距离。我们以每度200像素进行合理预测。人眼能够机械移动的跨度是水平150度，垂直90度。要全面覆盖这一跨度，需要5.4亿像素。

仅仅一个静态画面就需要高达5.4亿像素。但是，我们的现实世界不会静止不动，多个静态画面按顺序闪现形成动态视频，目前电影和电视一般每秒闪现24~30帧画面。然而，人眼并不是像摄像机那样运作的。事实上，人眼接收的是连续不断地光画面，而不是断断续续的。对于电影或电视节目而言，每秒30帧画面的动态视频已经足够了。但人眼能够感知更快的动态视频，预计高达每秒200帧画面。对于体育运动、游戏、科研和其它高速沉浸式体验的场景，这需要至少每秒60帧甚至120帧画面，从而避免动态图像模糊或错位。

此外，人眼还有其它一些特征也是当前的显示技术无法望其项背的。例如，人眼能够感知将近100万亮度等级的对比度，这需要高达8个字节才能实现对每一个屏幕像素的色域进行完全编码。

现在，让我们快速地粗略计算一下上限。5.4亿像素，每像素8字节，每秒120帧，这需要每秒518GB数据。不仅是目前，即便是在可预见的将来，也没有任何一个数据系统或网络能够具备如此巨大的原始吞吐量。幸运的是，视觉数据冗余能根据画面的复杂程度实现较大幅度的数据压缩。即使是在高达300:1的压缩比情况下（实现这一压缩比需要非常强大的电脑系统来对压缩视频进行编解码），518GB数据流也让我们止步于每秒1.7GB的数据。每秒1.7GB数据听起来已经很庞大了，但这只是现实世界中我们周边数据的皮毛而已。如果加上我们头部以及身体的转动能力，我们能将视野范围扩大到水平360度，垂直将近270度，这是人眼能够随时聚焦的范围。覆盖这个范围需要38亿像素，假如每秒120帧画面，这也需要每秒3.7TB的传输系统！由于人眼能够随时调整焦距，从而丰富了人类视觉的特性，这些特性同时将针对技术的各种需求推向新高。未来，具备焦距调整功能的显示器需要能够让人眼动态地将物体带入或带出我们的视线。这是如今商用3D显示器无法做到的。但是，研究实验室里的光场显示器能够做到，只是每帧画面需要有更多的数据。

全方位交流不仅仅是传输海量的数据，还要求将这些数据进行压缩并进行实时传输。早在1968年，IBM的一位早期人类因素科学家Robert B. Miller认为，人类界定“即时”反应的阈值是100毫秒以内。人们在虚拟现实系统中遭受的眩晕症，是由人的动态和系统反应之间的延迟所造成的。要减缓此类眩晕症，需要缩短时延。

让远程现实变成现实

在如今世界，大多数家用网络的接入带宽不超过20M，商用网络不超过100M。前文所提到的海量的数据仅仅是沉浸式现实中数据吞吐量的百分之一。你可能会质疑这种超保真需求真的需要吗，因为目前市场上高清视频才刚刚取代标清视频。

但你是否还记得，当高清面世时，它似乎是一种面向未来的格式。然而现在，它已经迅速地被超高清视频摄像机和显示器所取代，43英寸的4K显示器的售价已不到600美元，许多视频流服务也已经开始提供4K内容。

显示器的分辨率和物理尺寸也在不停发展，因为就在今年，已经有几家摄像机和显示器厂商发布了8K产品，一些数据流服务也开始提供8K内容。曾几何时，新的播放标准需要历经10多年的时间才能够被广泛采用；然而超高分辨率系统却不可同日而语，目前超高分辨率系统正被快速地采用，因为它们可以在互联网上按需下载。

视频与环境融合的MirrorSys系统

MirrorSys：网络是王道

华为实现全方位交流的第一步就是推出了一种叫做MirrorSys的研究原型，MirrorSys从视觉和听觉方面真实并且实时地重现了与实物尺寸大小相同的远程空间。华为曾在“2015年巴塞罗那世界移动通信大会”以及“汉诺威信息及通信技术展”上高调展示过MirrorSys，它包括一个具备3200万像素的、墙体大小的显示屏，该显示屏由16个高清投影仪无缝排列组成，宽5米，高2.6米，完全符合人类视网膜两米视距的分辨率。这些早期的展示之后，华为在实验室中又取得了一系列新的进展，包括：

• 将显示屏的宽度扩大了一倍，即显示屏宽10米，高2.6米，像素也扩大了一倍；
• 音频系统采用32个麦克风阵列来捕捉源环境中声音的方向性，并且通过一个22.2声道扬声器系统准确再现。由于这套系统准确地定位了每个声音的起源点，因而听众能够区分在共享空间中不同区域里同时进行的对话；
• 将3个4K超高清摄像头拼接在一起，以每秒60帧画面运行；
• 对载荷进行压缩，通过专用网络实现了150毫秒以内的快速传输。此外还持续致力于打造可能的最低时延。

虽然第一代MirrorSys原型就能够将现今的网络基础设施推至极限，但这只是触及了全方位交流技术的冰山一角。不论源图像是来自现实世界中的摄像头，还是由电脑创造的，华为知道真正的沉浸式体验需要海量的数据来匹配人类感知的敏感度。未来的网络需要能够以人类难以察觉的低时延来传输更大数量级的数据。

通过所有的这一切，华为明白：超高速网络对于全沉浸式媒体的广泛应用至关重要。除了在本地专用机器上玩游戏之外，大部分应用将需要在服务器和终端用户之间传输部分或所有“现实”，甚至连游戏也正在被迁移到云基础设施之上。云基础设施需要在全世界范围内传输大量数据，因而数据中心基础设施对于呈现真实的人工世界变得日益重要。

华为研发部门正在加紧开发能够将现实的远程环境或虚拟环境中的光和声进行压缩、传输，并以实物大小、全保真的方式进行再现的技术。

MirrorSys的未来，或者说全方位交流的未来，是能够经常性地、真真切切地将人们带到世界上的任何一个地方。这种成就的取得将开启大量的新商业机遇。例如，原本的远程医疗是医生们通过高清或4K超高清视频线路进行医学交流，全方位交流技术则让他们能够在综合视觉细节下进行精准的医疗诊断和远程手术；技术人员可以远程操作和修复复杂的机器；购物者们则可以以前所未有的精准度来检视房地产、宝石、详细的制造工艺、电子线路，以及其它视觉上比较复杂的产品。对于消费者而言，全沉浸式系统能够让他们参与到梦寐以求的日常活动之外的领域，例如：攀登珠峰、参观泰姬陵、驾驶方程式赛车、身临世界杯赛现场观看比赛、特技跳伞、或者在大堡礁潜水。这一切既壮观又振奋人心。即便身处千里之外的异地他乡，你也可以远程探望母亲并在临睡前查看孩子们的就寝状况，这也将成为我们生活中美好的瞬间。增强型虚拟现实正在开启不计其数的新机遇——但是，一个人又能存在于多少种现实中呢？当然了，只有一种，但是，它充满无限可能性。

（更多华为资讯请关注华为开发者社区，华为自己的对外开放门户:http://developer.huawei.com/cn/ict/ ,不要问我叫啥，别人都叫我雷锋）