Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势

文章目录

  • 教程说明
  • 录制前的准备
  • 第一种录制方法(Hand Grab Pose Tool 场景)
    • ⭐在运行模式中确认录制
    • ⭐保存录制的手势,将物体做成 Prefab
    • ⭐在编辑阶段调整抓取手势
      • Fingers Freedom
      • 调整录制手势的手指弯曲
      • 隐藏预渲染的手势模型
  • 第二种录制方法(Hand Grab Pose Recorder 窗口)
    • ⭐选择用哪一只手录制
    • ⭐选择给哪一个物体录制抓取手势
    • ⭐在运行模式中确认录制
    • ⭐保存录制的手势
    • ⭐给物体加载录制的手势数据
    • ⭐在编辑阶段调整抓取手势
  • 生成镜像手势
  • 生成姿势相同,不同缩放的手势

此教程相关的详细教案,文档,思维导图和工程文件会放入 Spatial XR 社区。这是一个高质量 XR 社区,博主目前在内担任 XR 开发的讲师。此外,该社区提供教程答疑、及时交流、进阶教程、外包、行业动态等服务。

社区链接:
Spatial XR 高级社区(知识星球)
Spatial XR 高级社区(爱发电)

在这里插入图片描述


教程说明

这篇教程将会介绍如何录制可抓取物体的抓取手势。

配置一个基本的玩家物体可以参考前几期教程:https://blog.csdn.net/qq_46044366/article/details/134097455

系列教程专栏:https://blog.csdn.net/qq_46044366/category_12118293.html

配套的视频链接:
9.通过录制手部动作,实现自定义VR抓取动作

​电脑操作系统:Windows 11

使用的 VR 设备:Meta Quest 3(Quest 系列都适用)

使用的 Unity 版本:2021.3.5 LTS (这里推荐使用 2021 及以上的 LTS 版本)

Meta XR SDK 版本:v57

官方文档:https://developer.oculus.com/documentation/unity/unity-gs-overview/

录制抓取手势文档:
https://developer.oculus.com/documentation/unity/unity-isdk-creating-handgrab-poses/


录制前的准备

需要给物体添加碰撞体,刚体 Rigidbody 和 Grabbable 脚本。(这期教程会先介绍录制没有物理效果的物体的抓取手势,所以我先把碰撞体的 Is Trigger 勾选上,把刚体的 Use Gravity 取消掉,实际上,在录制抓取手势的时候最好先取消物体的物理效果,这样物体能够固定住,方便我们录制)

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第1张图片


第一种录制方法(Hand Grab Pose Tool 场景)

借助 Interaction SDK 中的 Hand Grab Pose Tool 场景(在 v57 中位于 Asset/Oculus/Interaction/Samples/Scenes/Tools 下)

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第2张图片

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第3张图片

注:录制时必须要在 Unity 运行模式下,并且要通过 Oculus Link 有线串流。

⭐在运行模式中确认录制

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第4张图片

在做好物体的前置准备后,我们就可以点击 Unity 的运行按钮进入运行模式,用一只手去抓取物体摆出抓取姿势,然后用另一只手去按场景中桌子上的按钮,按下后等3秒,就会录制好抓取手势,物体上会渲染出一个抓取手势的手部模型。

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第5张图片

然后物体身上会多出一个 HandGrabInteractable 子物体,该子物体身上有一个 HandGrabPose 子物体,HandGrabPose 物体记录了录制的抓取手势数据。

⭐保存录制的手势,将物体做成 Prefab

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第6张图片

我们需要把录制好抓取手势的物体制作成 Prefab 预制体,将它拖到 Assets 下文件夹下的任意一个位置或者子文件夹,然后再退出运行模式。Prefab 会记录保存我们在运行模式下对物体做出的更改。

退出运行模式后,我们就可以把保存的 Prefab 拖到场景中,此时物体就具备了刚刚录制抓取的手势。

⭐在编辑阶段调整抓取手势

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第7张图片
Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第8张图片

Fingers Freedom

我们可以点击物体身上的 HandGrabPose 子物体,调整 HandGrabPose 脚本上的 Fingers Freedom 参数:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第9张图片

每根手指会有三个参数可以选择:
Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第10张图片

如果选择了 Locked,在手部呈现出抓取手势后,虚拟的手指姿态会被固定住,无法跟随现实中的手指弯曲,除非取消抓取。

如果选择了 Constrained,在手部呈现出抓取手势后,虚拟的手指可以跟随现实的手指向外弯曲,而不能继续向内弯曲。

如果选择了 Free,虚拟手指可以跟随现实手指自由弯曲。

调整录制手势的手指弯曲

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第11张图片

点击 HandGrabPose 物体,可以看到渲染的抓取手势模型关节上有蓝色或者紫色的圈,我们可以去调整这些圈的旋转角度来调整手势关节的旋转角度。

隐藏预渲染的手势模型

此时,如果我们运行程序,会发现预渲染的手势模型会一直存在。如果要隐藏它,我们可以隐藏或者删除 HandGrabPose 物体上的子物体:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第12张图片

不过,如果我们用鼠标选中了 HandGrabPose 物体,还是会渲染出手势模型的。但是不去选中这个物体就看不到手势模型了。

第二种录制方法(Hand Grab Pose Recorder 窗口)

点击 Unity 编辑器菜单栏中的 Oculus/Interaction/Hand Grab Pose Recorder:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第13张图片

然后会跳出一个窗口,之后我们就根据窗口上的步骤进行配置:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第14张图片

如果使用这种录制方式,我们可以在任意场景中进行

⭐选择用哪一只手录制

窗口中的第一个参数需要传入一个 Hand 脚本。Hand 脚本在玩家物体上的 RightHand 和 LeftHand 子物体上:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第15张图片
Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第16张图片
假如我选择用右手进行录制,那么我就可以将场景中的 RightHand 物体拖到 Hand Grab Pose Recorder 窗口中的 Hand 变量上,它会自动识别物体身上的 Hand 脚本:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第17张图片

⭐选择给哪一个物体录制抓取手势

接下来我们将场景中需要录制抓取手势的物体拖到录制窗口中,前提是这个物体身上添加了刚体组件:
在这里插入图片描述

⭐在运行模式中确认录制

接下来,我们点击 Unity 的运行按钮进入到运行模式,用之前我们选择录制抓取手势的手摆出抓取物体的姿势,我们可以用鼠标点击窗口中的 Record HandGrabPose 确认录制抓取手势,或者将鼠标光标移到 Hand Grab Pose Recorder 窗口,双击一下进入到 Focus 状态,然后按下键盘的空格键确认录制

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第18张图片
录制成功后物体身上会渲染出抓取手势的模型。

⭐保存录制的手势

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第19张图片
点击 Hand Grab Pose Recorder 窗口中的 Save To Collection 对抓取手势的数据进行保存,然后退出运行模式。

⭐给物体加载录制的手势数据

退出运行模式后,选中物体,点击 Hand Grab Pose Recorder 窗口中的 Load From Collection:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第20张图片

然后这个物体身上会多出一个 HandGrabInteractable 子物体,记录了录制过的抓取手势。

⭐在编辑阶段调整抓取手势

这一步和第一种方法中的调整方法是一样的,这种录制方式是没有隐藏预渲染的手势模型这一步。

生成镜像手势

我们可以点击 HandGrabInteractable 物体上的 HandGrabInteractable 脚本的 Create Mirrored HandGrabInteractable:

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第21张图片

比如我使用右手录制抓取手势,那么就能够快速生成左手的镜像抓取手势。

在这里插入图片描述

生成姿势相同,不同缩放的手势

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势_第22张图片

调整 HandGrabInteractable 脚本上 Scale Hand Grab Poses 下的滑动条修改抓取手势的缩放大小,然后点击 Add HandGrabPoseKey 按钮就能快速生成相应缩放大小的手势。

你可能感兴趣的:(#,Unity,Quest,一体机开发,unity,游戏引擎,vr,xr)