简介这个是一个使用ER-NeRF来实现实时对话数字人、口播数字人的整体架构，其中包括了大语言回答模型、语音合成、成生视频流、背景替换等功能，项目对显存的要求很高，想要达到实时推理的效果，建议显存在24G

文章目录前言deepspeech.pb模型转换解决方案参考前言在做数字人项目的过程中，需要对语音提取特征，比如DINet和ER-NeRF项目，都需要使用DeepSpeech进行语音特征提取。

ER-NeRF本地运行只要梳理好依赖版本，运行起来就很顺畅condacreate-nernerfpython=3.10创建本项目虚拟环境condainstallpytorch==1.12.1torchvision

一、nerf+aigc（一）文本驱动生成式模型数字人头像生成（二）文本驱动风格化模型人体重建方法：基于点云的方法基于nerf的方法二、动作捕捉1.基于动作匹配的方法2.基于深度学习的方法ER-NeRF合成数字人

前言目前数字人实现技术众多，我这里采用基于ER-NeRF，在这里可以看到其介绍：ICCV2023|ER-NeRF:用于合成高保真TalkingPortrait的高效区域感知神经辐射场-https://zhuanlan.zhihu.com

一、训练数据人像分割训练ER-NeRF或者RAD-NeRF时，在数据处理时，其中有一步是要把人像分割出来，而且人像要分成三块，人的头部，人的有脖子，人的身体部分，效果如下：从上面的分割的结果，可以到，算法最终要的结果是头部用蓝色表示

文章目录一、背景二、方法2.1问题设定2.2Tri-PlaneHashRepresentation2.3RegionAttentionModule2.4训练细节三、效果3.1实验设定3.2定量对比3.3定性对比3.4Userstudy3.5消融实验四、代码4.1视频数据预处理4.2训练4.3推理论文：EfficientRegion-AwareNeuralRadianceFieldsforHigh-

前言1、算法概述ER-NeRF是基于NeRF用于生成数字人的方法，可以达到实时生成的效果。