调研报告:VR 技术生活各领域中的应用
VR 技术在疾病康复领域的应用
VR 技术可以很好地应用到某些疾病地康复训练过程中。比如中风、青少儿脑瘫等疾病,这些疾病的相同点是病人手脚运动不协调,需要持续的、强度适宜的训练来保证康复过程的进行。VR 技术在这种应用场景下主要有三点优势:
- 游戏场景可设计定制,能够提供许多临床场景提供不了的训练方式。
- 游戏本身带有趣味性,可以吸引患者进行训练。
- 游戏本身设计可以控制训练的强度。
以下为参考论文:
Laver, Kate, et al. "Virtual reality for stroke rehabilitation." Stroke 43.2 (2012): e20-e21.
Ravi, D. K., N. Kumar, and P. Singhi. "Effectiveness of virtual reality rehabilitation for children and adolescents with cerebral palsy: an updated evidence-based systematic review." Physiotherapy 103.3 (2017): 245-258.
以下为视频 DEMO:
Virtual Reality-based stroke rehabilitation (YouTube)
Virtual Reality Rehab for Parkinsons (YouTube)
VR 技术在传媒领域的应用
由于 VR 技术有极高的沉浸度这一特点,被应用在体育赛事和重大会议的直播上,能让观众有身临其境的体验,更好地观看赛事和会议。
目前这一技术已被应用到篮球、拳击、高尔夫、F1 方程式赛车、冰球等多项体育运动。
VR live streaming 的技术难点在于如何把高清、高解析度、数据量巨大的视频源及时地传输到基于手机地 VR 设备,以及手机的运算能力比较弱,如何能及时地处理这些信息。优化的方法有:
- 在录像设备上装上一些专门负责获取深度信息的特殊摄像头。
- 传输的影像大多数并非源影像,而是压缩过的清晰度较低的影像,只在观众目前关注的地方加载原生的高清影像(有点类似于 LOD 的思想)。
- 一些体育赛事不需要真正的 360 度视角(背后视角都是观众席),所以可以只传输正面视角的影像来减少传输量。
以下为参考论文:
Ochi, Daisuke, et al. "Live streaming system for omnidirectional video." Virtual Reality (VR), 2015 IEEE. IEEE, 2015.
Koyama, Takayoshi, Itaru Kitahara, and Yuichi Ohta. "Live mixed-reality 3d video in soccer stadium." Mixed and Augmented Reality, 2003. Proceedings. The Second IEEE and ACM International Symposium on. IEEE, 2003.
以下为视频 DEMO:
Live sports on VR? BBC Click (YouTube)
Lunchtime with my Gear VR - Garcia vs Guerrero by NextVR (YouTube)
The NextVR NBA Tip Off Live Stream in the Gear VR (YouTube)
VR 技术在房地产行业中的应用
目前有不少企业已经推出了基于 VR 技术的房产、家居设计体验系统,并且已经进入市场。其主要功能有:
- 设计、体验户型
- 设计、体验更改装修风格
- 摆放家具、电器等等
以下为应用官网以及视频 DEMO:
畅享家 VR 设计系统
VR 技术在教育领域的应用
目前少量试点学校尝试使用 VR 设备为学生提供全新的教学体验。以一种寓教于乐并的方式带来更真实的模型展现。
以下为视频 DEMO:
Virtual Reality in Education - Marin County, CA (YouTube)
Education in the Future: VR and AR (YouTube)
VR 技术新的优化:Foveated Rendering
Foveated Rendering(焦点渲染),定义如下:
Foveated rendering is an upcoming graphics rendering technique which uses an eye tracker integrated with a virtual reality headset to reduce the rendering workload by greatly reducing the image quality in the peripheral vision (outside of the zone gazed by the fovea)
Nvidia 在他们的两篇论文中提出了这种方法,论证了其可行性。并且对比了目前三种不同方法做 Foveated rendering 的不同效果:
比较朴素的做法是把视觉边缘部分通过简单的 downsampling 降低分辨率:这种做法过于鲁莽,由于下采样的性质,观察者在转移视线的时候周围被 downsampling 处理过的部分会闪烁(flicker)。
之前比较流行的做法是把视觉边缘部分做高斯模糊处理:这种做法可以有效减少上一种方法引起的闪烁。但是仍然会由于过度模糊而产生 tunnel vision(隧道视觉效应?)。
-
Nvidia 提出的方法:
fCPS. The method described by Patney et al, which employs foveated coarse-pixel shading with prefiltered shading, foveated temporal anti-aliasing, and post-processed contrast enhancement.
这种方法可以有效地避免tunnel vision。
以下为参考论文:
Patney, Anjul, et al. "Perceptually-based foveated virtual reality." ACM SIGGRAPH 2016 Emerging Technologies. ACM, 2016.
Albert, Rachel, et al. "Latency Requirements for Foveated Rendering in Virtual Reality." ACM Transactions on Applied Perception (TAP) 14.4 (2017): 25.
以下为视频 DEMO:
Nvidia's method of foveated rendering