Metahuman专栏

从UE5内部的Bridge下载数字人的方法

先尝试从bridge下载,使得它至少有1%的进度,在bridge中右上角Metahuman专栏_第1张图片

打开log笔记本,光标放到最后一行,查找“zip”关键词

Metahuman专栏_第2张图片

复制含有zip的url链接,放到浏览器下载就可以了 

官方教程:

超人类文档 |Epic开发者社区 (epicgames.com)的

Mesh to MetaHuman这一篇

B站数字人相关教程

[技术专题]在UE里使用ControlRig制作MetaHumans动画(官方字幕)_哔哩哔哩_bilibili

[技术专题]在UE中使用MetaHuman面部绑定 | Using the MetaHuman Facial Rig in UE(官方字幕)_哔哩哔哩_bilibili

面部捕捉教程缩短版:

注意要在统一个WiFi下 

快速用metahuman做个自己并导入ue5面部捕捉_哔哩哔哩_bilibili

【UE】Live Link Face数字人面部捕捉_哔哩哔哩_bilibili

身体动补:

为 MetaHuman 添加摄像头动捕(简介中有完成后的项目文件)_哔哩哔哩_bilibili

【Blender】图像建模,真人写实还原(FaceBuilder)_哔哩哔哩_bilibili

6.15 Metahuman Animator发布最新更新

【UE】期盼已久的MetaHuman Animator终于发布,教程安排上_哔哩哔哩_bilibili

准备工作:

1.苹果手机用live link face录制两小段视频:一段用来人脸建模(需要1注视镜头的正面、已经左面+右面、以及尽可能露出牙齿的镜头),把数据放到工程目录下新建的iPhone文件夹中

2.将虚幻引擎五里面的IMG Media的数值改成4 和 8(大一点的数值) 

Metahuman专栏_第3张图片

大纲

Metahuman专栏_第4张图片

1.CaptureData

新建一个capture source,命名为iPhone_MHCS 

 Metahuman专栏_第5张图片Metahuman专栏_第6张图片

 打开iPhone_MHCS,选择LiveLinkFace Archives, 下面的路径选择放了录制视频的文件夹

Metahuman专栏_第7张图片

打开工具下的capture Manager

Metahuman专栏_第8张图片

导入

Metahuman专栏_第9张图片

2.CaptureSources

在导入成功之后可以在设置的路径底下看到一个这么个东西,重命名为GG_CS

Metahuman专栏_第10张图片3.Metahuman identity

新建一个Metahunman Identity重命名为GG_MHID,打开

Metahuman专栏_第11张图片

 

选择身体,选择解算

Metahuman专栏_第12张图片

解算完毕可以通过上面这一栏观察生成好的模型,拖动上面的两条线可以调节对比度和位置

Metahuman专栏_第13张图片选择Mesh to MetaHuman的第二栏,将人物上传云平台 

Metahuman专栏_第14张图片

成果上传后,添加模型牙齿

Metahuman专栏_第15张图片

点击牙齿栏,选择露牙的那一帧添加帧

Metahuman专栏_第16张图片

Metahuman专栏_第17张图片

4.Metahuman_Performances

重复上面的1.2操作,把表演的视频数据也导入,重命名为GG_P

贴合牙齿之后,然后点击准备表演选项(Prepare for Performance)

生成完毕之后,新建一个表演来源,重命名为Performance_MHP,并打开

 Metahuman专栏_第18张图片

Metahuman专栏_第19张图片

选择要表演的片段

Metahuman专栏_第20张图片

左上角点开始运行

Metahuman专栏_第21张图片

然后就有两种导出方式

Export Aniamtion的形式

可以用已有的metahuman的皮肤

Metahuman专栏_第22张图片

Export Level Sequence的形式是输出到一个新关卡里

Metahuman专栏_第23张图片

 打开导出的关卡之后,把摄像机调为表演的摄像机就能看见

Metahuman专栏_第24张图片

修改绑定

在Performance_MHP中对face右键选中Face_ControlBoard_CtrRig

Metahuman专栏_第25张图片

 Metahuman专栏_第26张图片

其他学习笔记

官网地址

Epic Games

视图窗口

环境类

  • 环境

Metahuman专栏_第27张图片

  • 摄像机镜头 

Metahuman专栏_第28张图片

  • 渲染质量 

因为是云端渲染,所以渲染质量不受本地电脑配置的影响 

Metahuman专栏_第29张图片

  •  LOD

 LOD0是最高,LOD7为低模

使用发片可以节省性能,但是质量也会稍差一点

自动LOD会根据摄像头距离自动调整LOD的类型

Metahuman专栏_第30张图片

  •  是否打开白膜渲染,是否关掉头发

关掉头发可以暴露被头发遮挡的脸,使用白膜模式可以更清晰的看到嘴巴和眼睛的形状

Metahuman专栏_第31张图片

  • 窗口右边的快捷键

Metahuman专栏_第32张图片

 雕塑类

Metahuman专栏_第33张图片

视图窗口 

Metahuman专栏_第34张图片

如果想给别人分享你的数字人,你可以从数字人系统用.mhb的格式拷贝导出一份,其他人也可以将这个导入MHC。

注意:你不能将.mhb格式直接导入到虚幻引擎。如果想要下载导入数字人到虚幻引擎,必须得用Quixel Bridge。

选择版本

Metahuman专栏_第35张图片

放文件的位置

Metahuman专栏_第36张图片

数字人和虚幻引擎的工程转换版本

打开低版本的UE工程,选中数字人文件夹,右键转移

Metahuman专栏_第37张图片

放进高版本的UE工程的content文件夹中

Metahuman专栏_第38张图片导入数字人 

所需插件

Metahuman专栏_第39张图片

阿光的数字人教程

照片生成数字人(Agisoft Metashape/Blender插件/RealityCapture)

推荐Blender插件

软件:Agisoft Metashape

1.拍摄一个物体不同角度的照片

2.在软件里上传照片

3.生成点云,删除多余的点云

4.生成网格

5.生成纹理,调整贴图的大小

6.导出模型

记得勾选导出纹理

Metahuman专栏_第40张图片

Blender插件FaceBuilder

【Blender】图像建模,真人写实还原(FaceBuilder)_哔哩哔哩_bilibili

导入fbx模型和贴图

导入MetaHuman ID

Metahuman专栏_第41张图片

在MetaHuman导入mesh 

Metahuman专栏_第42张图片

摄像机视野推荐:20 

Metahuman专栏_第43张图片

选中Neutral Pose点击提升帧 Metahuman专栏_第44张图片

Metahuman专栏_第45张图片

点击MetaHuman本体测试

Metahuman专栏_第46张图片

选择身体

Metahuman专栏_第47张图片

模型转到MetaHuman(选择第二栏)

Metahuman专栏_第48张图片

置换Blender里导出的真实贴图

先导出MH里带的脸部贴图作为参考

Metahuman专栏_第49张图片

对我们自己Blender导出的贴图做皮肤均匀肤色、调整色调、磨皮等处理(剪映和ps,具体可以看阿光的教程),导出图片(可以选4k的)

【UE】【PS】Metahuman还原真人面部_哔哩哔哩_bilibili

Metahuman专栏_第50张图片

Metahuman专栏_第51张图片  

再导出和UE的贴图相同的尺寸,重命名为相同的名字(便于后面替换)

Metahuman专栏_第52张图片去掉近景修剪,以便近距离观察

cmd输入:

r.SetNearClipPlane 0.00001 

眼睛和脖子,嘴巴里面部分可以用MH的,剩下脸的部分用blender的贴图

Metahuman专栏_第53张图片

让自己的MetaHuman以第三人称动起来

在UE5工程里导入一个第三人称的新手包

Metahuman专栏_第54张图片

在UE5的虚幻引擎里下载加载自己的MetaHuman,复制一个双击打开

Metahuman专栏_第55张图片 在class setting中加载第三人称蓝图,并把第三人称的body作为MetaHuman的子集归零Metahuman专栏_第56张图片

设置重定向 

Metahuman专栏_第57张图片点击mesh隐藏网格体

Metahuman专栏_第58张图片

将默认的第三人称的蓝图复制黏贴到我们复制出来的数字人蓝图中,修改替换一个节点 

Metahuman专栏_第59张图片

对于visibility based anim tick option改为刷新骨骼 

Metahuman专栏_第60张图片

对数字人的pawn改成player 0 

Metahuman专栏_第61张图片

最后编译,将数字人拉进level,启动。可以看到可以用第三人称的办法操作数字人。

一招白嫖虚幻商城各种服装

将虚幻商城找到的角色和数字人都放到相同的UE5工程中

Metahuman专栏_第62张图片

在模型里的sections中将头的零件右键禁用disable掉 

Metahuman专栏_第63张图片将数字人的脸部组件放入

Metahuman专栏_第64张图片

Metahuman专栏_第65张图片给数字人的脸部皮肤材质(父级材质) 添加遮罩的算法节点

Metahuman专栏_第66张图片

记得把数字人改为player 0

Metahuman专栏_第67张图片

兼容骨架动画

打开数字人骨骼里的资产详情 

Metahuman专栏_第68张图片

将丧尸的骨骼放入新的资产 

Metahuman专栏_第69张图片添加关卡序列

Metahuman专栏_第70张图片

选中数字人,在 轨道上选择添加到关卡

Metahuman专栏_第71张图片

去掉body以外其他没有必要的东西,如下添加动画

Metahuman专栏_第72张图片如果要重复多条相同的跟动画,把时间线拉倒两条动画的衔接处,右键↓↓如图所示

Metahuman专栏_第73张图片

用Udraper为Metahuman换装更加丝滑

uDraper - 虚幻引擎实时布料模拟插件与3D服装设计软件

1.注册这个网站并得到许可证

2.挑选一些衣服买下来

3.在虚幻引擎里添加Udrap的插件

Metahuman专栏_第74张图片

4.打开数字人的蓝图,底下的body有个drap的按钮

Metahuman专栏_第75张图片

1.点击选择

2.放入下载好的衣服

3.将衣服对好位置,从下往上打钩 

Metahuman专栏_第76张图片

关卡序列动画示例:UDraper服装+Mixamo动作

1.在mixamo网站中导入我们的虚幻阴影角色

Metahuman专栏_第77张图片

选择一个舞蹈动作,并下载,蒙皮选择 否

Metahuman专栏_第78张图片将dancing放入IncomingFbx文件夹 

Metahuman专栏_第79张图片Metahuman专栏_第80张图片点击上述转换键之后,可以在OutgoingFbx文件夹中找到转换好的模型

 Metahuman专栏_第81张图片

将刚导出好的舞蹈fbx和Metahuman全部放入c4d,

点击数字人的身体(通用部分:手、皮肤等),再找到骨骼

Metahuman专栏_第82张图片

接下来就和《兼容骨架动画》那节的教程比较相似,添加关卡序列动画

动作捕捉(Plask)

动作捕捉

Plask网站:Plask Motion: AI-powered Mocap Animation Tool

导入需要被捕捉动作的参考视频

Metahuman专栏_第83张图片

点击 extract提取 

Metahuman专栏_第84张图片

可以把提取的动作拉到任意一个模型身上,如下

Metahuman专栏_第85张图片

选择模特,点击导出,选择 fbx(Game engine)

Metahuman专栏_第86张图片

Metahuman专栏_第87张图片

在虚幻引擎里导入动画,记得勾选√导入动画,不需要导入材质

Metahuman专栏_第88张图片

Metahuman专栏_第89张图片

IK重定向 

要实现IK重定向,需要三个条件

Metahuman专栏_第90张图片

新建IK Rig 

Metahuman专栏_第91张图片

打开之后,选择xinyi那套骨架 

Metahuman专栏_第92张图片

Metahuman的IK绑定,已经默认创建好了的

Metahuman专栏_第93张图片

Metahuman专栏_第94张图片

复制一份数字人的IK绑定

Metahuman专栏_第95张图片

复制过来的IK绑定,保留关键的6条骨骼链,其余的删去(如下图)

Metahuman专栏_第96张图片

对照上图,对我们xinyi的新建IK绑定也创立相同的6条骨骼链,IK目标都选择无

Metahuman专栏_第97张图片

Metahuman专栏_第98张图片

新建一个IK重定向器,重命名IKRetargeter_XY_Cooper

Metahuman专栏_第99张图片

Metahuman专栏_第100张图片去除动捕之后,人物位置忽上忽下 的问题

新建一个关卡序列

Metahuman专栏_第101张图片

将动捕模型拉进关卡,添加动捕动画

Metahuman专栏_第102张图片

Metahuman专栏_第103张图片点击主体,右键(Edit With FK Control Rig)烘焙动画

Metahuman专栏_第104张图片把hips的位移动画帧全选删掉重置为0Metahuman专栏_第105张图片

烘焙动画

Metahuman专栏_第106张图片

换上刚刚新烘焙出来的新的动画序列,继续修复动画 

Metahuman专栏_第107张图片

对IK_Rig_XY的hip骨骼新建一个骨骼,重命名为pelvis 

Metahuman专栏_第108张图片

对IK_Metahuman也做如上相同的操作

然后链接pelvis

Metahuman专栏_第109张图片

选择新的动画,导出~ 

Metahuman专栏_第110张图片

文字/语音驱动数字人口型动画(Metahuman SDK)【未完成】

右键创建“speech from text”

Metahuman专栏_第111张图片

如果出现下图的提示,可以先点击“open personal account”

进入这个网页新建一个token复制一下

Metahuman专栏_第112张图片

回到虚幻引擎,打开工程设置-插件-metahuman sdk,粘贴刚刚的token。问题就解决了。

Metahuman专栏_第113张图片

右键生成的音频,点击“Create Lipsync Animation”

Metahuman专栏_第114张图片

Metahuman专栏_第115张图片

【SoVits】AI声音克隆 

【UE】【Blender】Metahuman个性化发型制作全流程(13分钟)

教程

【UE】【Blender】Metahuman个性化发型制作全流程_哔哩哔哩_bilibili

在UE里面导出一个metahuman的头,右键-资产管理-导出

在blender中导入这个头部fbx

删掉出LOD0以外的模型

Metahuman专栏_第116张图片

在blender窗口界面选中模型,快捷键alt+p选择中间的clear and keep transform,解除父子集之后再删除除了模型以外的东西

Metahuman专栏_第117张图片

Metahuman专栏_第118张图片点选择长头发的区域 

shift + d 复制

p 分离 选中项

Metahuman专栏_第119张图片

点击曲线改为毛发的雕刻模式

Metahuman专栏_第120张图片

Metahuman专栏_第121张图片

生成头发

在修改器里选择头发面片

Metahuman专栏_第122张图片

导出头发

物体模式下选中头发转换为网格

Metahuman专栏_第123张图片

再转化为曲线

Metahuman专栏_第124张图片

设置样条属性为贝塞尔

Metahuman专栏_第125张图片

编辑模式下,选中头发的一个点,ctrl+L选中一个,观察顶点数

接下来精简顶点数量,每根控制在50-100左右

Metahuman专栏_第126张图片

右键全选头发精简曲线,调整精简比例

Metahuman专栏_第127张图片

全选导出,设置参数如下 

Metahuman专栏_第128张图片

Metahuman专栏_第129张图片

导入头发,打开头发的(重力)模拟

Metahuman专栏_第130张图片

Metahuman专栏_第131张图片Metahuman专栏_第132张图片 

连上相应的数字人的头部模型

打开数字人,换上新的头发

Metahuman专栏_第133张图片

你可能感兴趣的:(笔记)