【老鸟进阶】deepfacelab之Xseg遮罩模型详解

 

学会使用遮罩模型是菜鸟进阶高手的重要一步

遮罩可以帮你处理诸如头发、眼镜、舌头等src难以训练生成出来的细节

如dst有眼镜，src无眼镜，训练生成的src如果直接贴在dst脸上，眼镜就会被盖住，留下两个奇怪的眼镜腿。通过Xseg遮罩模型，可以自动扣出dst的眼镜并保留，从而实现src也带上眼镜，效果更自然。

那为什么要训练一个模型呢？和每一张手动去画遮罩有什么区别？

答案是工作量：60秒视频，每秒25帧，一共1500张图，你每一张手动画遮罩我敬你是条汉子。而用Xseg模型的话，先挑关键动作20-50张图画上遮罩，再训练一个Xseg模型来学习，学完后由模型自己给其余类似图片画上遮罩，能极大减小工作量

 

Xseg遮罩模型的使用可以分为训练和使用两部分部分

 

1. 训练Xseg模型

训练需要绘制训练素材，就是你得用deepfacelab自带的工具，手动给图片画上遮罩。这一步工作量巨大，要给每一个关键动作都画上遮罩，作为训练数据，数量大约在几十到几百张不等。

建议萌新直接使用别人已经训练好的遮罩模型，比如dfldata.xyz论坛置顶的万能Xseg模型，基本涵盖所有常规遮挡物，包括头发、香肠、舌头、眼镜等，可以直接在合成阶段使用

如果你想体验Xseg模型制作过程，或素材遮挡比较特殊，就按一下步骤操作

1. 常规提取dst和src人脸，获得对应aligned文件夹

2. 使用5.XSeg) data_dst mask for XSeg trainer - edit.bat脚本，打开绘制工具，绘制dst的遮罩。src同理

3. 绘制完成后，使用5.XSeg) train.bat脚本进入训练阶段，脸型参数根据需要选wf或f，bs使用默认值。模型训练比较耗显存，如果提示OOM显存不足的错误，减小bs大小。  另外一提，xseg模型不区分分辨率

4. 当训练预览窗口中第二第三栏效果图符合你满意程度时，按enter结束训练。在model文件夹下获得成品xseg模型一组

 

步骤比较简单，主要讲下遮罩绘制工具怎么用

按键功能都在图中标识了

只要用框选工具咔咔一顿点，把人脸区域给围出来就好了。

框选分两种，实线是添加选区，虚线是排除选区。以上图欧阳娜娜口红为例，两种方式都可以完成框选，根据个人喜好选择

其他几个按键自己随便点点就知道什么作用了，不具体讲了

 

 

2. 使用Xseg模型

使用Xseg模型实际上有两种使用方式，一种是在换脸模型训练前先把遮罩给推理出来，应用到训练素材中。另一种是合成时实时生成遮罩并预览。

第一种方式就是使用5.XSeg) data_src trained mask - apply.bat脚本（dst同理），讲遮罩提前生成并写入图片信息中。这样在换脸模型训练阶段就能只针对重点区域进行学习，不去学习什么口红啊，头发啊，略微能提升点质量。但个人不推荐这种方式，因为推理出来的遮罩不一定完美，如果有瑕疵就会影响训练效果。

 

建议使用第二种方式，在合成merge阶段，在交互预览窗口直接按X来实时计算遮罩，因为方便观察遮罩效果。X可以多按几次，有多个遮罩使用模式，总有一款会适合你

 

Xseg模型的复用

最后讲下Xseg模型的重复使用

Xseg模型不需要每次素材都重新训练一份，可以在同一份模型基础上加入更多素材继续训练，让模型能处理的遮罩越来越牛逼

每次手工画完的遮罩图不要删，用5.XSeg) data_dst mask for XSeg trainer - fetch.bat脚本集中搜集起来，下次有新素材可以加入一块训练

 

dfldata.xyz论坛的镇坛之宝万能Xseg模型就是众筹网友万张手工绘制的遮罩图训练而成，满足98%以上需要遮罩的素材。你可以提交100张手工绘制的遮罩图到[email protected]，免费换取万能Xseg遮罩模型一份。