【AR开发】VIVE Sense - SRWorks SDK

1、简介

随着 VIVE Pro、VIVE Pro Eye 和 Cosmos 的推出，开发人员现在可以使用立体前置摄像头来创造新的体验，将透视立体摄像头视图与其虚拟世界相结合。这将使开发人员能够使用立体 RGB 传感器执行 3D 感知和深度感应，为更具创意的交互式体验开辟新世界。

除了更新的 OpenVR 摄像头 API 现在可以处理比原始 VIVE 的单色摄像头更多的功能之外，VIVE 软件团队还为开发人员提供了对 SRWorks SDK 的早期访问权限。

SDK 包括对带有 Unity 和 Unreal 插件的原生开发的支持。
还包括一个示例伴侣：在后台运行的人类检测伴侣作为叠加层。

该VIVE SRWorks SDK扩展能力和VIVE VR系统的潜在用途直通技术。借助这个强大的工具，内容开发者可以将现实世界带入 VR。大多数情况下，佩戴耳机时现实世界的视野会被遮挡。通过使用VIVE HMD的双摄像头，耳机可以在立体视觉中接收来自现实世界的输入。大多数情况下，佩戴耳机时现实世界的视野会被遮挡。通过使用双摄像头，VIVE HMD 可以在立体视觉中接收来自现实世界的输入。

2、功能模块

使用此 SDK，您不仅可以访问原始相机图像：

• 深度
• 空间映射（静态和动态网格）
• 在前景或背景中放置虚拟对象
• 与虚拟对象的实时交互和简单的手部交互
• 用于语义分割的 AI Vision 模块。

这些功能由四个服务模块提供，即深度模块、透视模块、3D 重建模块和 AI 视觉模块，从而使开发人员能够专注于内容。

双摄像头的图像通过以下 VIVE SRWorks 模块进行处理，然后输出可以通过Unity或Unreal渲染并交付给渲染引擎：

3、运行要求

要通过 VIVE SRWorks SDK 在 Unity/Unreal 中开发应用程序，应满足以下最低软件和硬件要求：

4、驱动安装

4.1 steam安装

https://store.steampowered.com/about//

4.2 steamvr安装

打开steam平台，然后登录，搜索如下，查找steamvr，下载它，在线安装。

在steamvr的设置里将“启动摄像头”设置打开，这样才能进行后面的AR功能测试。

4.3 SRWorks Runtime

https://dl.vive.com/SDK/SRWorks/VIVE_SRWorksInstaller_0.9.7.1.msi

5、SDK开发包下载

官网地址：
https://developer.vive.com/resources/vive-sense/sdk/vive-srworks-sdk/

双摄像头具有两大优势：

3D感知	由于左右眼分别使用独立的摄像头，因此在观看现实世界时可以进行 3D 感知。
深度感应	一个基本的应用是真实的遮挡。您还可以利用此深度信息来实现其他更高级的场景，例如身体、手和面部跟踪。

sdk开发包下载地址：
https://developer.vive.com/resources/vive-sense/srworks-sdk/download/latest/

6、SDK开发包测试

6.1 Unity sample

解压文件：SRWorks_v0.9.7.1_Unity_Prebuild_Samples.zip

unity的测试例子解压之后有两个例子：Plugin、Experience。

• Plugin例子
  
  Launch the GUI by pressing the “S” + “R” keys.
  
  主要分为四个界面分页的内容：
  （1）PassThrough
  （2）Depth
  （3）3d
  （4）SceneUnderstanding

但这里我们主要介绍Experience例子。

• Experience例子
  
  

6.1.1 Shader Effect

6.1.2 Depth Control

6.1.3 CameraControl

6.1.4 Portal

6.1.5 Settings

6.1.6 3D Preview

6.1.7 Enable Mesh

Static(MR)

Static(VR)

Dynamic(MR)

6.1.8 Segmentation

出现一个骨架人走到被识别的椅子旁，然后坐下。

6.2 UE4 sample

解压文件：SRWorks_v0.9.7.1_UE4_Samples.zip

6.3 C sample

解压文件：SRWorks_v0.9.7.1_Native_C_Library.zip


打开代码工程文件，编译其中的sample-vs2015，运行之后，报错，目前还没有解决。

后续

如果你觉得该方法或代码有一点点用处，可以给作者点个赞；╮(￣▽￣)╭
如果你感觉方法或代码不咋地//(ㄒoㄒ)//，就在评论处留言，作者继续改进。o_O???
谢谢各位童鞋们啦( ´ ▽ )ﾉ ( ´ ▽ )っ！！！