HoloLens开发指南（2）---HoloLens模拟器介绍

上一篇（HoloLens开发指南（1）---安装工具）我们介绍了配置开发环境，本部分我们来了解如何使用Hololens模拟器。

以下内容由公众号：AIRX社区（国内领先的AI、AR、VR技术学习与交流平台） 整理

使用 HoloLens 仿真器可以在未配备物理 HoloLens 的电脑上测试全息应用程序。 它还附带 HoloLens 开发工具集。 该仿真器使用 Hyper-V 虚拟机。HoloLens 传感器通常读取的人类和环境输入通过键盘、鼠标或 Xbox 控制器模拟。 应用程序无需经过修改即可在仿真器上运行。

Step 1:安装模拟器

• HoloLens 2 模拟器：

  https://go.microsoft.com/fwlink/?linkid=2101019

• HoloLens 模拟器（第 1 代）和全息项目模板：

  https://go.microsoft.com/fwlink/?linkid=2065980

• 其他旧版本：

  https://docs.microsoft.com/zh-cn/windows/mixed-reality/hololens-emulator-archive

Step 2:系统要求

HoloLens 模拟器结合使用 Hyper-V 和 RemoteFx（第 1 代仿真器）或 GPU-PV（HoloLens 2 仿真器）来实现图形硬件加速。 若要使用仿真器，请确保电脑符合以下硬件要求：

确保系统上已启用“Hyper-V”功能，如若没有，请在控制面板中选择“程序”->“程序和功能”->“启用或关闭 Windows 功能”，确保已选择“Hyper-V”，使模拟器能够成功安装。

Step 3:将应用部署到 HoloLens 仿真器

1. 在 Visual Studio 中加载应用程序解决方案。（使用 Unity 时，请从 Unity 生成项目，然后像往常一样将生成的解决方案载入 Visual Studio。）

2. 对于 HoloLens 模拟器（第 1 代），请确保平台设置为“x86”。对于 HoloLens 2 模拟器，请确保平台设置为“x86”或“x64”。

3. 选择所需的 HoloLens 模拟器版本作为目标调试设备。

转到“调试”>“开始调试”或按 F5 启动仿真器，然后部署要调试的应用程序。

Step 4: HoloLens 模拟器输入介绍

控制模拟器与许多常见的 3D 视频游戏非常相似。可以通过输入选项来使用键盘、鼠标或 Xbox 控制器。通过定向佩戴 HoloLens 的模拟用户执行的操作来控制模拟器。

HoloLens（第 1 代）上的光标可跟踪头部运动和旋转。在 HoloLens 2 仿真器中，光标跟踪手部运动和方向。

• 前后左右走动 - 使用键盘上的 WASD 键，或 Xbox 控制器上的左摇杆。

• 上下左右注视 - 单击并拖动鼠标、使用键盘上的箭头键，或使用 Xbox 控制器上的右摇杆。

• Air tap手势 - 单击鼠标右键、按键盘上的 Enter 键，或使用 Xbox 控制器上的 A 按钮。

• Bloom/System手势 - 按键盘上的 Windows 键或 F2 键，或按 Xbox 控制器上的 B 按钮。

• 滚动时的手部运动 - 按住 Alt 键和鼠标右键的同时向上或向下拖动鼠标，或者在 Xbox 控制器中按住右触发器和 A 按钮的同时向上和向下移动右摇杆。

• 手部运动和方向（仅适用于 HoloLens 2 模拟器）- 按住 Alt 键的同时向上、向下、向左或向右拖动鼠标以移动手部，或使用箭头键和 Q 或 E 来旋转和倾斜手部。在 Xbox 控制器中，请在按住左缓冲键或右缓冲键的同时，使用左拇指操纵杆向左、向右、向前和向后移动手部，或使用 Dpad 上的向上或向下键来抬高或降低手部。

Step 4:  模拟器界面介绍（HoloLens 2）

主窗口

 

工具栏

在主窗口的右侧，可以看到模拟器工具栏。 工具栏包含以下按钮：

• 关闭：关闭仿真器。

• 最小化：最小化模拟器窗口。

• 模拟控制面板：显示或隐藏模拟控制面板，以便配置和控制模拟器的输入。

• 适应屏幕：使模拟／器适合屏幕大小。

• 缩放：放大和缩小模拟器。

• 帮助：打开模拟器帮助。

• 打开设备门户：在模拟器中打开 HoloLens OS 的 Windows 设备门户。

• 工具：打开“其他工具”窗格。

模拟控制面板

使用模拟控制面板可以查看模拟用户和输入设备的当前位置与方向。 使用它还可以配置模拟输入（例如，显示或隐藏一只或两只手）和用于控制模拟输入的设备（例如电脑的键盘、鼠标和游戏手柄）。

• 若要隐藏或显示模拟面板，请单击工具栏按钮或按键盘上的 F7。

• 将鼠标悬停在控件或字段上可显示工具提示，其中包含键盘、鼠标和游戏手柄的控件。

• 若要显示或隐藏手部，请切换左手或右手下方的相应开关。

• 若要控制手部，请使用键盘上的左/右 Alt 键，或游戏手柄上的左/右bumper键。

• 若要将所有输入定向到一只或两只手，请单击切换开关下的pushpin按钮。 

• 若要控制视线方向，请单击“Eyes”部分中的pushpin。这相当于按住键盘上的 Y 键。

• 若要调整模拟用户或输入设备在响应键盘、鼠标或游戏手柄输入时移动或旋转的速度，请单击“输入设置”旁边的齿轮图标并调整滑块。

• 默认情况下，键盘输入会控制模拟用户和模拟输入。若要将电脑的键盘输入发送到 HoloLens，请取消选中“使用键盘进行模拟”。F4 是此项设置的快捷键。

• 如果模拟面板已显示，按 F8 会将键盘焦点转移到模拟面板。

• 若要在模拟器窗口中取消停靠模拟面板，请单击面板底部的按钮，或按键盘上的 F9。关闭窗口或再次按 F9 会恢复为模拟器窗口。

“Account”选项卡

可将模拟器配置为使用 Microsoft 帐户登录。在测试需要用户使用账户登录的 API 时，此配置非常有用。 

切换此选项需要完全关闭并重启 HoloLens 模拟器，使设置生效。如果启用此选项，则后续启动模拟器时，系统会要求你登录，就像用户首次启动 HoloLens 时一样。若要使用电脑键盘输入凭据，请先在模拟控制面板中关闭“使用键盘进行模拟”，或按键盘上的 F4 打开或关闭键盘设置。

“Optional Settings”选项卡

“Optional Settings”选项卡显示用于启用或禁用硬件加速图形的控件。默认情况下，如果电脑图形适配器的驱动器支持硬件加速图形，则就会使用硬件加速图形。如果图形适配器的驱动程序不支持 GPU-PV，则不会显示此选项。

Step 5:  模拟器界面介绍（第一代HoloLens）

主窗口

 

工具栏

基本上与HoloLens 2相同。在主窗口的右侧，可以看到模拟器工具栏。 工具栏包含以下按钮：

• 关闭：关闭仿真器。

• 最小化：最小化模拟器窗口。

• 人类输入：使用鼠标和键盘来模拟仿真器的人类输入。

• 键盘和鼠标输入：键盘和鼠标输入将作为键盘和鼠标事件直接传递给 HoloLens OS，就如同已连接蓝牙键盘和鼠标一样。

• 适应屏幕：使模拟／器适合屏幕大小。

• 缩放：放大和缩小模拟器。

• 帮助：打开模拟器帮助。

• 打开设备门户：在模拟器中打开 HoloLens OS 的 Windows 设备门户。

• 工具：打开“其他工具”窗格。

模拟的房间

模拟的房间可用于在多个环境中测试应用程序。 模拟器随附了多个房间数据。

安装模拟器后，可以在%ProgramFiles(x86)%\Windows Kits\10\Microsoft XDE\(version)\Plugins\Rooms.中找到这些房间。 

所有这些房间是使用 HoloLens 在真实环境中捕获的：

• DefaultRoom.xef - 配有一台电视机、一个茶几和两套沙发的小客厅。启动仿真器时，默认会加载该房间。

• Bedroom1.xef - 配有一张桌子的小卧室。

• Bedroom2.xef - 配有一张双人床、梳妆台、床头柜和步入式衣橱的卧室。

• GreatRoom.xef - 配有客厅、餐桌和厨房的开阔大房间。

• LivingRoom.xef - 配有壁炉、沙发、摇椅和摆放了花瓶的茶几的客厅。

在模拟器中，你只会看到自己渲染的全息影像。 但你看不到全息影像后面的模拟房间。 而在实际的 HoloLens 中，你会同时看到两者的混合形式。 若要在 HoloLens 模拟器中查看模拟的房间，需要更新应用程序，以便在场景中渲染空间映射网格。

关于更多机器学习、人工智能、增强现实资源和技术干货，可以关注公众号：AIRX社区，共同学习，一起进步！