Unity+MRTK 2.5+HoloLens2开发环境配置与部署

注：MRTK2.7已经发布，开发环境配置与部署与MRTK2.6略有不同。本说明适用于MRTK2.6。

重要开发资料：

1. Unity 开发概述 - Mixed Reality | Microsoft Docs
2. Welcome to MRTK | Mixed Reality Toolkit Documentation
3. 使用 Windows 设备门户 - Mixed Reality | Microsoft Docs

1.环境配置

1.1 软件开发环境

软件	描述
Windows 10	通过“设置”>“更新和安全”>“对于开发人员”在电脑上启用开发人员模式
Visual Studio 2019（16.2 或更高版本）	请确保安装以下工作负载：（1）使用 C++ 的桌面开发；（2）通用 Windows 平台 (UWP) 开发；（3）在 UWP 工作负载内，如果要针对 HoloLens 进行开发，请务必选中以下可选组件——USB 设备连接
Windows 10 SDK	要生成 HoloLens 2 应用，必须安装 Windows SDK 内部版本 18362 或更高版本
混合现实工具包 (MRTK)
Unity 2019

下载链接：安装工具 - Mixed Reality | Microsoft Docs

Releases · microsoft/MixedRealityToolkit-Unity · GitHub

在资产下，下载:

• Microsoft.MixedRealityToolkit.Unity.Foundation.unitypackage
• （可选）Microsoft.MixedRealityToolkit.Unity.Extensions.unitypackage
• （可选）Microsoft.MixedRealityToolkit.Unity.Examples.unitypackage
• （版本到版本升级必需，否则为Optional）Microsoft.MixedRealityToolkit.Unity.Tools.unitypackage

1.2 Unity+MRTK开发环境配置

Windows Mixed Reality （WMR）是作为 Windows 10 操作系统的一部分引入的 Microsoft 平台。 WMR 平台使你能够生成在全息和 VR 显示设备上呈现数字内容的应用程序。

设置 WMR 时，可以采用两个路径。
第一种方法是安装混合现实工具包（MRTK） v2，这将自动设置 WMR 环境。
第二种方法是手动更改一些 Unity 设置以使用 WMR 进行滚动。如果选择 WMR 手动设置，则需要更改的设置将分为两个类别：每个项目和每场景。

1.2.1 手动设置项目配置

需要为 WMR 更改的第一个设置是项目平台：

1. Select File > Build Settings…
2. Select Universal Windows Platform in the Platform list and click Switch Platform
3. Set SDK to Universal 10
4. Set Target device to Any Device to support immersive headsets or switch to HoloLens
5. Set Build Type to D3D
6. Set UWP SDK to Latest installed
   

Unity XR 设置-> 正确配置平台后，需要让 Unity 知道应用在导出时应创建沉浸式视图而不是2d 视图：

1. From the Build Settings… window, open Player Settings…
2. Select the Settings for Universal Windows Platform tab and expand the XR Settings group
3. In the XR Settings section, check the Virtual Reality Supported checkbox to add the Virtual Reality Devices list.
4. In the XR Settings group, confirm that “Windows Mixed Reality” is listed as a supported device. (this option may appear as Windows Holographic in older versions of Unity)
   

1.2.2 质量设置

HoloLens 具有移动类 GPU。如果你的应用面向HoloLens，你需要调整应用中的质量设置以实现最快的性能，以确保它保持完整的帧速率：

1. Select Edit > Project Settings > Quality
2. Select the dropdown under the Windows Store logo and select Very Low. You’ll know the setting is applied correctly when the box in the Windows Store column and Very Low row is green
   

1.2.3 每场景设置

如果选中 “支持虚拟现实”，则Unity 相机组件会处理头跟踪和 stereoscopic 呈现。 这意味着不需要使用自定义相机替换主相机对象。
如果你的应用程序专门面向 HoloLens，则需要更改一些设置以优化设备的透明显示。 这些设置允许你的全息内容透过物理环境显示：

1. In the Hierarchy, select the Main Camera
2. In the Inspector panel, set the transform position to 0, 0, 0 so the location of the user’s head starts at the Unity world origin.
3. Change Clear Flags to Solid Color.
4. Change the Background color to RGBA 0,0,0,0. Black renders as transparent in HoloLens.
5. Change Clipping Planes - Near to the HoloLens recommended 0.85 (meters).

重要:如果删除并创建新相机，请确保将新相机标记为 " MainCamera"。

2.初始化第一个项目

2.1 创建Unity项目

在“创建新项目”窗口中：

• 确保模板设置为3D
• 输入合适的项目名称，例如MRTK Tutorials
• 选择一个合适的位置来存储您的项目，例如，D：\ MixedRealityLearning
• 单击创建按钮以创建并启动新的Unity项目

2.2 切换构建平台

1. 在Unity菜单中，选择文件>构建设置…以打开“构建设置”窗口
2. 在“构建设置”窗口中，选择“通用Windows平台”，然后单击“切换平台”按钮

2.3 导入TextMeshPro基本资源

1. 在Unity菜单中，选择窗口> TextMeshPro >导入TMP基本资源以打开“导入Unity包”窗口
   

2. 在“导入Unity软件包”窗口中，单击“全部”按钮以确保选中了所有资产，然后单击“导入”按钮以导入资产

2.3 导入混合现实工具包

1. 在Unity菜单中，选择Assets > Import Package > Custom Package …以打开Import package …窗口
2. 在“导入包…”窗口中，选择下载的Microsoft.MixedReality.Toolkit.Unity.Foundation.2.4.0.unity包，然后单击“打开”按钮

Releases · microsoft/MixedRealityToolkit-Unity · GitHub

2.4 配置Unity项目

1. 在Unity菜单中，选择编辑>项目设置…以打开项目设置窗口

2. 在“项目设置”窗口中，选择“播放器” >“ XR设置”，单击+图标，然后选择“ Windows Mixed Reality”以添加Windows Mixed Reality SDK：
   

3. 在“ MRTK项目配置器”窗口中，使用“音频空间化程序”下拉列表选择“ MS HRTF空间化程序”，然后单击“应用”按钮以应用设置：
   

4. 在“项目设置”窗口中，选择“播放器” >“ XR设置”，然后使用“深度格式”下拉菜单选择16位深度

5. 在“项目设置”窗口中，选择“播放器” >“发布设置”，然后在“包名称”字段中输入合适的名称，例如MRTKTutorials-GettingStarted

2.4 创建和配置场景

1. 在Unity菜单中，选择文件>新建场景以创建一个新场景
2. 在Unity菜单中，选择Mixed Reality Toolkit >添加到场景并配置…以将MRTK添加到当前场景
3. 与MixedRealityToolkit在层次结构窗口仍然选中，在检查窗口对象，验证MixedRealityToolkit配置简档被设置为DefaultHoloLens2ConfigurationProfile
   
4. 在Unity菜单中，选择文件>另存为…以打开“保存场景”窗口：

3.使用Visual Studio部署和调试

3.1 部署环境

3.1.1 Visual Studio

对于Hololens 2，请使用Visual Studio 2019 16.2或更高版本。支持C＃和C ++。

3.1.2 HoloLens 2

在设备上启用开发人员模式:

1. 打开HoloLens并放在设备上。
2. 执行开始手势以启动主菜单。
3. 选择设置磁贴以在您的环境中启动该应用程序。
4. 选择更新菜单项。
5. 选择“对于开发人员”菜单项。
6. 启用开发人员模式。这将允许您将应用程序从Visual Studio部署到HoloLens。
7. 可选：向下滚动并启用设备门户。这也将允许您从Web浏览器连接到HoloLens上的Windows设备门户。

3.2 通过Wi-Fi部署应用-HoloLens 2

1.为您的应用选择ARM或ARM64构建配置

2.在部署目标下拉菜单中选择“远程计算机”

3.对于C ++和JavaScript项目，请转到项目>属性>配置属性>调试。a.在地址或机器名称字段中输入设备的IP地址。在“设置”>“网络和Internet”>“高级选项”下，在HoloLens上找到IP地;b.将身份验证模式设置为通用（未加密的协议）

4.选择调试>开始调试以部署您的应用并开始调试

5.第一次从PC将应用程序部署到HoloLens时，系统会提示您输入PIN码。请按照以下配对设备的说明进行操作。

2.3 通过USB部署应用程序-HoloLens 2

1.为您的应用选择ARM或ARM64构建配置

2.在部署目标下拉菜单中选择设备

3.选择调试>开始调试以部署您的应用并开始调试

4.第一次从PC将应用程序部署到HoloLens时，系统会提示您输入PIN码。请按照以下配对设备的说明进行操作。

3.4 配对设备

第一次将应用程序从Visual Studio部署到HoloLens时，将提示您输入PIN。在HoloLens上，通过启动“设置”应用程序生成PIN，转到“更新”>“对于开发人员”，然后点击“配对”。PIN码将显示在您的HoloLens上；在Visual Studio中键入此PIN。配对完成后，点击HoloLens上的完成以关闭对话框。这台PC现在已与HoloLens配对，您将能够自动部署应用程序。对用于将应用程序部署到HoloLens的每台后续PC重复这些步骤。要将HoloLens与配对的所有计算机解除配对，请启动“设置”应用，转到“更新”>“对于开发人员”，然后点击“清除”。

4.调试

4.1 将 HoloLens 设置为使用 Windows 设备门户

1. 将 HoloLens 设置为使用 Windows 设备门户
2. 打开 HoloLens 的电源，然后戴上设备。
3. 针对 HoloLens2 执行开始手势，或者在 HoloLens（第一代）上执行开花手势，以启动主菜单。
4. 凝视“设置”磁贴，然后在 HoloLens（第一代）上执行隔空敲击手势，或者在 HoloLens 2 上通过触摸或手部射线选择该磁贴。
5. 选择“更新”菜单项。
6. 选择“面向开发人员”菜单项。
7. 启用“开发人员模式”。
8. 向下滚动并启用“设备门户”。
9. 如果要设置 Windows 设备门户以便可以通过 USB 或 Wi-Fi 将应用部署到此 HoloLens，请单击“配对”以生成配对 PIN。 在首次部署期间，请在“PIN”弹出窗口中保持打开“设置”应用，直到在 Visual Studio 中输入了 PIN 才将它关闭。

4.2 通过 Wi-Fi 进行连接

1. 将 HoloLens 连接到 Wi-Fi。
2. 通过以下任一方法查找设备的 IP 地址
3. 在电脑上的 Web 浏览器中，转到 https://（通过USB连接也可）

浏览器中将显示以下消息：“此网站的安全证书有问题。” 由于颁发给 Device Portal 的证书是测试证书，因此会显示上述消息。 你可以暂时忽略此证书错误并继续。

4.3 HL2设备门户使用说明

使用 Windows 设备门户 - Mixed Reality | Microsoft Docs

5. 性能优化

Unity提供了预设来控制每个平台端点的渲染质量。这些预设控制可以启用哪些图形功能，例如阴影，抗锯齿，全局照明等。建议降低这些设置并优化渲染期间执行的计算数量。

步骤1：更新混合现实Unity项目以使用低质量级别设置
编辑>项目设置，然后选择质量类别>为UWP平台选择低质量

步骤2：对于每个Unity场景文件，禁用实时全局照明
窗口>渲染>照明设置>取消选中实时全局照明。