HoloLens2的vuforia模型识别

需求

在HoloLens2中，使用webcam扫描中型物体，然后触发事件

环境

visual studio2019
unity2020.3.20f1c1
HoloLens2
vuforia10.2.5
MRTK2.7.3

实现

1、先分析下，使用vuforia的object scanner是否可行：这种方式针对体型小、特征点多的物体合适，需要配合安卓apk——vuforia object scanner、打印的扫描纸，将物体放到右上角，接着拿起手机围绕物体进行扫描。若物体表面的凹凸不够，达不到比较多的识别点要求（150以上为佳），甚至还要贴些东西到物体上。


2、vuforia的model target：模型识别
这种方式，就是根据模型文件，来识别真实物体。当然前提是，模型的尺寸要比较贴近真实物体的尺寸，vuforia允许10%内的误差。
一般工作流程：得到模型文件（一般推荐FBX与OBJ格式）——导入到vuforia的Model Target Generator（下称MTG）——跟着流程进行，生成standard model target——生成的unitypackage导入unity——使用预制体modelTarget，往他下面放子物体，这样识别到子物体才显示，否则隐藏。
下面我使用的是iPhoneXR的模型，刚好笔者手头有一台用了好几年的iPhoneXR。模型文件、unitypackage在下面提供下载
下载资源

注意事项

当部署到HoloLens，发现子物体有偏移时，可尝试下面步骤
1、确保模型尺寸和真实物体一致
2、在MTG中修改guide view，即发现物体时看到的面，尽量贴合现实情况看到的角度
3、为了保证性能，不用的时候关闭vuforiabehaviour.enable
4、使用脚本frameRateSetting.cs锁帧率，锁HoloLens 60帧
5、vuforia configuration的camera device mode = speed，加速识别
6、避开同时使用vuforia与webcam，例如相机截图
7、在HoloLens中进行目视校准
8、在unity-build setting-player setting-player-publishing setting-supported device families 支持的设备系列下， 确保 选中全息holographic 。
9、禁用 在后台运行 run in background， 以便 Vuforia 在应用程序进入后台时暂停，并在应用程序恢复时再次访问相机。
10、在 Default Orientation 下拉菜单中，确保 选择Landscape Left
11、按照ARCAMERA设置，拷贝到MRTK的相机里（两个脚本，vuforiabehaviour和default error handler）

不用vuforia10.5.5的原因

在unity2020.3.20f1c1导入时会报错
1、custom video input - Could not connect pins - RenderStream()
2、SerializedObjectNotCreatableException: Object at index 0 is null

以后抽空再来研究，而10.2.5版本尝试使用MTG经过云训练的model target时会报错，应该要更高版本才支持

参考链接

vuforia的创建Model target的文档
MTG下载
unity2020 vuforia model target的油管教程

关于vuforia中，识别后显示的图像抖动解决

这篇文章的注意事项
脚本

guideview

由于笔者在HoloLens中使用vuforia功能，它自带的guideview在HoloLens效果不好，所以建议自制一个image，结合ontargetfound和OnTargetLost来控制guideview的显示与隐藏