Unity:利用MRTK进行Hololens2开发教程

1、MRTK简介

 官方介绍文档、下载地址

就是用来实现AR/VR虚拟环境下的显示和交互

官方功能文档

官方API文档

2、MRTK的导入

创建首个HoloLens 2应用程序

 “Virtual Reality Supported” 功能适用于混合现实和增强现实头显, 因为它指的是启用立体视觉效果

 “Spatial Perception” 空间感知功能,使我们能够在混合现实设备上 (如 HoloLens 2) 直观显示空间映射网格。 

环境配置好后,导入MRTK混合现实工具包

 应用

参数设置

Unity:利用MRTK进行Hololens2开发教程_第1张图片

关闭空间感知功能,减少资源消耗和视觉影响

Unity:利用MRTK进行Hololens2开发教程_第2张图片

确定环境配置成功

Unity:利用MRTK进行Hololens2开发教程_第3张图片

后续的发布看链接教程,也可以Remote调试

 3、创建交互界面

HoloLens2基础交互功能开发(二):交互界面创建

正常创建画布UI-Canvas,并转换为AR UI

Unity:利用MRTK进行Hololens2开发教程_第4张图片

Unity:利用MRTK进行Hololens2开发教程_第5张图片

创建AR Button,并挂在Canvas下,这样按钮就固定在空间画布上,而不是直接显示在屏幕上。

这些按钮预制件已经配置为对各种类型的输入(包括铰接的手动输入和注视)提供视听反馈。

触发方法有:凝视、空间点击、手射线、实体按钮

Unity:利用MRTK进行Hololens2开发教程_第6张图片

 

Unity:利用MRTK进行Hololens2开发教程_第7张图片

Unity:利用MRTK进行Hololens2开发教程_第8张图片

 

更改显示文字和图标

Unity:利用MRTK进行Hololens2开发教程_第9张图片

中文字体无法显示的话,添加字体包即可 ,

Unity:利用MRTK进行Hololens2开发教程_第10张图片

自带交互脚本Interactable.cs,Events事件正常选择直接写的脚本命令即可

Unity:利用MRTK进行Hololens2开发教程_第11张图片

如:最简单的变换颜色

Unity:利用MRTK进行Hololens2开发教程_第12张图片

那我想调用出高端大气的手势交互怎么办,看下面

4、手势交互

官方手势交互文档

直接添加脚本即可:

Bounding Box.cs(物体边界控制点,单手控制缩放和旋转)

Interactable.cs(Bounding Box必要交互脚本)

想要手和物体本身直接交互 

Near Interaction Grabbale.cs(手和物体接触直接操作)

Manipulation Handle.cs(手和物体相隔较远,发射射线操作)

Unity:利用MRTK进行Hololens2开发教程_第13张图片

5、眼动交互 

查看是否有Windows Mixed Reality Eye Gaze Peovider,没有就创建:

新建一个Data Provider,Type指定为Microsoft.MixedReality.ToolKit.WindowsMixedReality.Input > WindowsMixedRealityEyeGazeDataProvider

Unity:利用MRTK进行Hololens2开发教程_第14张图片

克隆DefaultHoloLens2InputSystemProfile和DefaultMixedRealityPointerProfile,勾选开启眼动追踪

Unity:利用MRTK进行Hololens2开发教程_第15张图片

实现Unity中模拟,克隆一下 DefaultMixedRealityInputSimulationProfile,设置一下Eye Gaze Simulation模式为Camera Forward Axis

Unity:利用MRTK进行Hololens2开发教程_第16张图片

对象按钮添加 EyeTrackingTarget.cs脚本,添加点击事件,里面有很多触发事件选项

Unity:利用MRTK进行Hololens2开发教程_第17张图片

就实现了哦

Unity:利用MRTK进行Hololens2开发教程_第18张图片

6、语音交互 

如果没有就创建Microsoft.MixedReality.ToolKit.Windows.Input > WindowsSpeechInputProvider

克隆,确定Auto Start

Unity:利用MRTK进行Hololens2开发教程_第19张图片

向语音库中添加语音指令 

Unity:利用MRTK进行Hololens2开发教程_第20张图片

顺带提一句,这块可以关闭资源界面,就是这个Toggle Profiler,我设置为F10快捷键,点一下就没了

Unity:利用MRTK进行Hololens2开发教程_第21张图片

 言归正传

 添加脚本SpeechInputHandler.cs,添加Assets/MRTK/SDK/Features/UX/Prefabs/Tooltips/SpeechConfirmationTooltip预制体

添加语音指令和事件

Unity:利用MRTK进行Hololens2开发教程_第22张图片

 实现了哦,我可什么都没干就说了说话

Unity:利用MRTK进行Hololens2开发教程_第23张图片

 其它

箭头指引:实现箭头跟随:箭头添加DirectionalIndicator.cs,里面添加需要跟随的物体

Unity:利用MRTK进行Hololens2开发教程_第24张图片

物体一直跟随镜头:添加Follow.cs 

Unity:利用MRTK进行Hololens2开发教程_第25张图片

物体跟着物体:另一个博客里的跟随脚本

指引线:要有ToolTip.cs和ToolTipConnector.cs

 

 

 

 

 

你可能感兴趣的:(U3D)