2020中国VR大会（虚拟现实中的真实行走漫游+WebVR+SLAM for AR+VR仿真+VR智能）

一、虚拟现实中的真实行走漫游

1、Problem

（1） Immersive virtual reality 沉浸式虚拟现实

• 沉浸式：在非物质世界中的物理存在感，虚拟现实系统提供了一个引人入胜的环境，图像、声音、触觉围绕着用户。
• 互动式：探索/导航

（2）Potential solutions

• Joysticks 操作杆
• Walking-in-place
• Real walking
  效果：R>W>J

（3）Challenges

虚拟世界和真实世界的大小、形状和物体往往差别很大。

2、Existing methods walking

（1）Redirected Walking 重定向行走

• 大脑认为视觉线索支配人的自然运动。
• 在现实世界中的动作和虚拟世界中所感知到的东西之间的细微差别是可能的。
• 用户会不知不觉地在与实际路径不同的虚拟路径上重定向。

（2）Structure manipulation 结构操纵

a.Change Blindness

对虚拟结构操作进行更改，改变原始场景结构或者依据需求来生成特殊的环境，实现小空间漫游的大场景。

b.Impossible Space

东西模式固定。

c.Flexible Space

适合某些特定场景，普适性差，适用性不强。

3、Redirected Walking 重定向行走

对虚拟环境进行改造，不仅对原环境规划或重构，而是把这些环境进行映射，使其完全映射到现实空间内部，避开现实空间中的障碍物，用户直接漫经过映射后虚拟环境道路。但其适合在道路，无房间的地方进行映射，可以做迷宫或者街道。
优点：可以让用户完全自由漫步整个虚拟环境，而不受任何重置和打断。
缺点：会有一定的变形，两边会有遮挡，如果在自由开阔的地方，技术仍然是个问题。

（1）Eye information

• Saccade 快速扫视
• Blink 眨眼
  缺点：很难获得数据

（2）Constraints

• Exterior boundary constraint 外边界约束
• Inter obstacke constraint 内部障碍约束
• Smoothness 平滑度
• Local bijection 局部双摄
• Low isometric distortion 低等距失真

4、Mapping-based methods 基于映射的方法

（1）Gobal mapping method

显着提高了二维和二维二次元的性能，但由于虚拟场景大，现实空间尺度差别大，扭曲结果差别大，人的视觉体验效果较差。

（2）Reachable region decomposition 可达区域分解

全局映射：将道路分解成各个小部分，将每个小部分利用线性约束，优化后，得到一个所需要的的低扭曲的映射小块，最后再拼接到一块，将整个映射到现实空间内部。利用足够密的采样点来保证局部双摄，对整个区域进行全局优化。
映射步骤：
将需要映射的环境映射到红色的安全区，再进行平移旋转糅杂，将第二个部分映射，必须满足在红色安全区内，最后将所有部分都映射进去。



算法满足：

优化方法：最小边界成本 + Distoriton代价 s.t.光滑性约束 + 局部双摄

• Local step ：super - patch based assembly

• Global step ：optimizing all control points

约束：

• 函数约束
• 外部的波峰弯曲增益约束
  两者比较：
  Mapping-based methods比较流畅，而Redirected Walking不停会走到边界，出现reset，在原地旋转，导致用户浪费时间等。
  未来研究：
  针对道路扭曲、变形，未来的改进思路：首先先将全部虚拟环境映射到一个中间结果，映射没有完全映射到现实空间内部也没有把障碍物躲避开，而是利用Redirection技术，把中间映射的这个结果镜进行平移旋转来得到一个更好地映射放方法，获得一个更好地行走体验。

5、Muti-user Real Walking 多用户真实行走

• Freely walking 自由行走
• Physical interactions 物理互动
• Co-locates requirement 在同一地点的规定

Preserving perception

• Scale perception 尺度感知
  避免产生过度或者过小的物体。

• Structural perception
  对象级结构保留且尊重场景层面的原始设计布局空间感知。

• Spatial perception 空间可见性
  保持虚拟场景的行走空间，避免元素间的重叠。

• Perceptual visibility 感知可见性
  保持特定对象可见性，不受特定视点和方向影响。

• Linear equality constraints 线性等式约束
  对齐和邻接约束。

6、Perception-Aware Scene Restructuring基于感知的场景重构

对整个场景进行一个压缩和变形，放到一个小的虚拟现实空间去，不仅仅是对道路，也可以对物体的位置进行一个重新的改变，但不仅是整体环境的缩小，也同时优化了场景中物体的摆放、大小、位置，视觉和感知可以比较接近原场景，视觉效果远远超过Mapping-based methods，但是其压缩比例不占优势，有些场景不适应，比如：开阔环境或者本身就很拥挤的环境。

7、Conclusion and future works

（1）Consion

• Redirected Walking
  优点：无失真。
  缺点：重置，多用户下映射不好。
• Mapping-based-method
  优点：自由行走，可以实现多用户。
  缺点：变形，适合道路型，现场改造型。
• Scene restructuring
  优点：开放式场景，自由行走，多用户下低失真。
  缺点：比例约束较低。

（2）Future work

• Open scenes
• Redirectes walking
• Muti-user system
• Methods combination

二、Web3D

Internet +VR → Web3D→Mobile Web3D

Web 3D大数据在线可视化的挑战

• 3D场景相对于Web来说数据量太大和太复杂
• 大规模3D场景的网上加载速度太慢
• Web在线渲染3D场景的速度太慢且光影效果差
• Web3D开发VSE（虚拟服务程序）技术门槛高
• 无成熟轻量级Web3D引擎来支撑VSE便捷开发
• Web3D在线交互编辑太慢
• 从Web3D到WebVR的设备接入问题

WebVR技术特色：

• 3D大数据的轻量化预处理技术
• 轻量化Web3D互动编辑关键技术
• 大规模Web3D渐进式对等传输机制
• 轻量级Web3D在线全局光照渲染算法
• 轻量级Web3D在线协同编辑器
• WebBIM家具/建筑在线可视化服务

WebVR研究学术性

• 基于移动终端和互联网的VR具有巨大发展潜力。对于前者，低计算、低储存VR技术，云计算VR技术，低延迟大数据传输与新型交互等是可创新技术方向。
• 后者需要全屏3D绘制、VR设备接入与更适合的人机交互机制，以及新型浏览器标准。
• WebVR将对现有浏览器和邮件系统等带来变革和颠覆性影响，成为互联网的新入口。

WebVR优势

• 天生轻量化
• 更具移动性
• 商业化属性更强
• 用户体验过门槛更低
• Web端比App端更有优势

Web系统结构示意

关键模块：

• 后端：强大的服务器
• 中间：Web&VR的引擎
• 前端：面向中间用户的交互前端
• 接口：面向产品化的统一发布接口
• 商业：商业或产品化面向用户

WebVR开发：

• WebVR.js
• 使用传统引擎-Unreal
• 使用第三方工具-AFrame

VR的基础介绍：

1、什么是VR

VR（Virtual Reality）是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等器官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制的观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精准的三维世界视频传回产生临场感。

2、VR的显示原理

VR的显示依据为人眼的立体视觉成像原理。人眼的视觉是可以感觉出深度的，也就是深度知觉。而有了深度的信息后，才能判断出立体空间的相对位置。

WebVR的基本介绍：

WebVR，即VR on Web。将虚拟现实技术应用到网页中，用JavaScrpit来写虚拟现实相关的程序。从而在浏览器平台运行。WebVR具有更好地共享性，能提供用户之间的交互。
VR应用需要高精度、 低延迟的接口，才能传递可接受的体验。而对于类似Device Orientation Event接口，虽然能获取浅层的VR输入，但这并不能为高品质的VR提供必要的精度要求。WebVR提供了专门访问VR的硬件的接口，让开发者能够构建舒适的VR体验。

三、SLAM for AR

SLAM:同时定位与地图构建

SLAM常用传感器

• 激光雷达或深度传感器
• 摄像头：单目、双目、多目等
• 惯性传感器（IMU，包括陀螺仪、加速度计）：智能手机标配

SLAM系统常用框架

视觉SLAM技术

主要传感器

• 单目摄像头
• 双目摄像头
• 多目摄像头

其他辅助传感器

• 廉价IMU、GPS
• 深度摄像头

优势

• 硬件成本低廉
• 小范围内定位精度高
• 无需预先布置场景
  
  

SLAM面临的关键挑战

1、精度和稳定性

• 动态变化、快速运动
• 弱纹理、重复纹理
• 优化计算不稳定

2、实时性

• 场景规模大
• 计算维度高
• 低功耗设备计算能力有限

四、VR仿真

1、仿真的概念

虚拟仿真：以建模与仿真理论为基础，以计算机系统为工具，根据研究目标，简历并运行虚拟模型，对研究对象（已有或设想的）进行认识与改造的过程。

• 仿真是具有特定的功能，按照某些规律结合起来，互相作用、互相依存的所有实体的集合或总和
• 系统具有结构和功能，系统是运动的
• 系统的三要素：实体、属性、活动
• 系统的三个特性：整体性、相关性、层次性
• 系统的基本分类：离散事件系统、连续时间系统、复杂系统

2、仿真模型

• 模型是从特定的研究角度对系统功能、结构、运动规律的逻辑抽象
• 模型与主客观的统一，是主要矛盾的反映
• 模型的分类

3、VR的三个特征

（1）沉浸感又称临场感

沉浸感就是让人专注当前的场景，忘记真实世界，是虚拟世界最终实现的目标。

（2）交互性

虚拟现实系统中的人机交互是一种近乎自然，用户通过穿戴传感设备，便可与虚拟场景中的物体进行实时交互。

（3）想象力

想象力设计者利用想象力来构想和设计虚拟世界（报考场景和实体）。

4、AR

增强现实技术（Augmented Reality，简称AR），增强现实就是把包括字母，数字，符号或者图形的几何信息叠加或融合到用户所看到的真实世界中，并增强效果，在空间场景中智能校准，关联和交互，犹如真实存在，即AR呈现的世界有真有假。

5、VR开发步骤

（1）VR应用的具体中实现步骤

（2）VR在应用中软件实现步骤

（3）VR在应用中硬件实现步骤

五、VR智能

1、基于YOLO v3和MobileNetv2的银行卡号识别

2、基于深度学习的在线学习者表情监督方法

3、视频监控节带化处理系统

4、AR辅助的基于HOG-SVM移动水稻病害智能分析与识别系统