论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation

一、项目相关

项目代码网址:GitHub - radekd91/emoca: Official repository accompanying a CVPR 2022 paper EMOCA: Emotion Driven Monocular Face Capture And Animation. EMOCA takes a single image of a face as input and produces a 3D reconstruction. EMOCA sets the new standard on reconstructing highly emotional images in-the-wildhttps://github.com/radekd91/emoca

项目介绍:

此项目是CVPR 2022 论文 EMOCA: Emotion Driven Monoocular Face Capture And Animation 的官方代码 。 EMOCA 将人脸的单个图像作为输入并生成 3D 重建。 EMOCA 设定了在自然场景下重建高度情绪化图像的新标准。EMOCA(EMOtion Capture and Animation)(情绪捕捉和动画)

二、开始复现(Windows系统)

主要以GitHub页面给出的项目说明来操作运行,遇到问题再一个一个解决

论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第1张图片

第一步 :Dependences(下载一些资源和软件)

  • 下载conda,这里我直接在官网下载了anaconda,里面包含conda和Python以及其他的包,在这之前我已经下载了Python和pycharm,暂不知道两个Python是否会影响后面的操作。第一次下载conda后,在开始菜单没有发现conda这个应用,后面查找教程,原来在安装过程的最后要勾选添加环境变量,卸载重装问题解决。
  • 下载mamba,mamba是用来加速conda的,打开anaconda prompt,输入如下代码完成mamba的安装
    conda install -n base conda-forge::mamba
  •  下载代码,这个直接点击项目github页面上的coda->Download ZIP下载,随后解压在某个文件夹内,这里我放在了D盘新建的emoca文件夹里,路径为D:\emoca\emoca-release-EMOCA,后面会用到这个路径。

第二步:Short Version(短的版本)

  • 首先打开anaconda prompt,此时显示的代码命令行显示的是
    (base) C:\Users\XXX>

    代表的是在这个路径下执行一些操作,而我们的操作要在我们刚刚下载的路径里面执行,故需要改变路径,输入如下代码,cd 后面是我们下载的资源的路径。

    (base) C:\Users\XXX>D:
    
    (base) D:\>cd D:\emoca\emoca-release-EMOCA

    之后便可在该路径下操作

    (base) D:\emoca\emoca-release-EMOCA>

  • 按照项目说明,输入如下代码安装脚本
    bash install.sh

    但是此时又出现了错误,找不到bash这个命令,后面查找教程,发现bash貌似是Linux命令,无法直接在Windows系统中使用,需要在命令行输入如下代码,之后问题解决

    conda install m2-base

    继续输入bash install.sh,让脚本开始下载,并构件我们要想的conda environment,名字是

    work36_cu11,但是很不幸,遇到了项目作者提到的无法预料的问题,一片红,部分错误如下
    An unexpected error has occurred. Conda has prepared the above report.
    
    Could not find conda environment: work36_cu11
    You can list all discoverable environments with `conda info --envs`.

    查看教程,有个方法是输入如下代码conda clean -i再重启anaconda prompt,然而,操作了一下还是没用,仍然是相同的报错,命令行输入conda info --envs也没有出现想要的环境,因此可能需要尝试项目作者给出的长版本

第三步:Long Version(长版本)

         根据作者提示,短版本配置环境失效则用长版本来配置。

  • 使用以下代码拉取相关子模块
    bash pull_submodules.sh

    出现如下错误

    git: command not found

    查找教程,发现出现这种原因是未将git添加到系统变量里,于是加入系统变量后继续输入上面的代码,可以运行起来,但是由于项目文件太大的原因clone不下来,因此根据错误提示,从对应的网站中手动下载相应的文件,再复制到对应的文件夹中,这一步就完成了。

  • 根据项目提示,用以下代码创建一个环境

    mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml

    经过一段时间的包的下载,又出现了如下错误

    An unexpected error has occurred. Conda has prepared the above report.

    查找解决方案,第一种,清理conda,用代码conda clean -i,然后重启conda,再次创建,未解决问题;第二种,使用代码conda clean --packages && conda clean --all && conda update --all,再重启conda继续创建,问题依然存在;第三种,删除C:\Users[user_name].condarc文件,之后重启conda,继续创建,未解决问题;第四种,关闭VPN,但是我未开启VPN。项目停滞

重新开始

卸载电脑上的python,pycharm,anaconda,删除环境变量,重新开始本项目。

  • 首先安装anaconda,直接用之前下载好的安装包,安装好后在cmd中输入python,有输出,证明安装成功。
  • 之后为conda添加镜像源,直接将以下代码复制到.contract文件中。
channels:
  - defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  • 输入命令conda install m2-base,解决windows不能使用bash命令的问题,执行该代码后又出现如下InvalidArchiveError报错
    InvalidArchiveError("Error with archive C:\\Users\\金兴亮\\.conda\\pkgs\\conda-4.12.0-py39haa95532_0_mw7kqxr\\info-conda-4.12.0-py39haa95532_0.tar.zst.  You probably need to delete and re-download or re-create this file.  Message from libarchive was:\n\nFailed to open 'C:\\Users\\XXX\\.conda\\pkgs\\conda-4.12.0-py39haa95532_0_mw7kqxr\\info-conda-4.12.0-py39haa95532_0.tar.zst'")

    解决方法是修改anaconda文件夹下的user的权限为全控制,之后再运行问题解决论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第2张图片

  • 执行命令conda install -n base conda-forge::mamba安装mamba,安装成功。

  • 直接从长版本开始操作,运行bash pull_submodules.sh,提示git:command not found。原因是未下载git,于是通过指令conda install git安装git,并将C:\ProgramData\Anaconda3\Library\cmd路径添加到环境变量里,重新运行bash pull_submodules.sh,运行成功

  • 随后执行mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml,按照文件创建环境,然而还是出现同样的问题,错误报告如下:论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第3张图片

     论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第4张图片

三、开始复现(Linux系统)

安装Ubuntu系统

  • 这里选择双系统安装,便于后续的使用。主要参考link,在磁盘管理中分出200GB空间用于Ubuntu系统,在Windows上面制作启动u盘,首先更改硬盘模式为AHIC,随后关机开机,出现笔记本品牌logo,狂按esc(华硕笔记本),进入安装界面,按照参考博文选择选项,随后在分区那块,分了18G给swap,1G给EFI引导区,剩下的全部分给/,然后在下面的安装启动引导器的设备一栏,选择efi系统分区所对应的设备(EFI分了哪个磁盘就选哪个)。安装完成如下:

论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第5张图片

  • 随后,按照网上的一个教程添加显卡驱动,运行了一个命令sudo ubuntu-drivers autoinstall,随后重启Ubuntu,发现虽然显卡驱动安装成功,但wifi和蓝牙都用不了了,也无法使用手机USB联网,网上未找到合适的解决方案,无奈只好重装系统。
  • 按照网上给出的重装教程link,要在Windows环境下打开磁盘管理,然后删除Ubuntu对应的磁盘内容,对于EFI区要使用工具清理,否则会造成一些无法进入Windows等的错误。操作完成的磁盘分区

论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第6张图片

论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第7张图片

  • 显示又有195GB的未分配空间,随后继续使用该空间安装Ubuntu。安装成功如下: 

 下载一些资源和软件

在搭建环境之前,还对ubuntu系统进行了一些设置,操作记录在另一篇博文上:link

  • 下载安装cuda
//输入以下命令查看驱动对应的cuda版本
nvidia-smi
 
//进入官网找到对应版本的cuda安装界面,选择自己的版本,再按照提示依次输入以下命令
wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run
 
sudo sh cuda_11.4.0_470.42.01_linux.run
 
//开始安装会弹出窗口,依次点击continue,输入accept,enter取消对驱动的安装,再选择install即开始安装
 
//安装完成后,会有一个Summary提示,这是正确安装的样子,接下来添加环境变量
 
//输入以下指令,打开.bashrc文件
sudo gedit ~/.bashrc
 
//随后在弹出的文件中最后面加上下面的这些代码
export PATH=$PATH:/usr/local/cuda/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64  
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda/lib64
 
//save保存,然后输入以下命令,使更改的环境变量生效
source .bashrc
 
//最后验证是否安装成功
nvcc -V
 
//输出了版本信息即安装成功
 
//进一步验证,使用cuda的测试样例
cd /usr/local/cuda-11.4/samples/1_Utilities/deviceQuery
 
sudo make
 
sudo ./deviceQuery
 
//最后输出显示Result=PASS即大功告成
  • 下载anaconda
//进入官网https://www.anaconda.com/products/individual,下载对应的安装包

//进入下载文件的目录内,输入以下命令开始安装
bash Anaconda3-2021.11-Linux-x86_64.sh

//一路回车加yes完成安装

//配置环境变量
sudo gedit ~/.bashrc

//添加以下代码
export PATH="/home/kayer/anaconda3/bin:$PATH"

//使其生效
source ~/.bashrc

  • 下载mamba
conda install -n base conda-forge::mamba
//安装会卡住,耐心等待
  •  用git下载项目代码,下载完的项目文件在home目录下
//首先安装配置好git,然后输入以下命令

git clone https://github.com/radekd91/emoca.git

Short Version

执行bash install.sh,install.sh文件内容如下,观察终端的运行过程

#!/bin/bash
if ! command -v mamba &> /dev/null
then
    echo "mamba could not be found. Please install mamba before running this script"
    exit
fi

echo "Pulling submodules"
bash pull_submodules.sh
echo "Creating conda environment"
mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml 
eval "$(conda shell.bash hook)" # make sure conda works in the shell script
conda activate work36_cu11
echo "Installing GDL"
pip install Cython==0.29
pip install -e . 
echo "Making sure Pytorch3D installed correctly"
pip install git+https://github.com/facebookresearch/[email protected]
echo "Installation finished"
  • 首先执行的是bash pull_submodules.sh,拉取一些子模块
    运行成功,在对应的文件夹中发现存在相关内容。
  • 随后是创建环境mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml
    终端输出如下,说明正在创建环境 
Transaction

  Prefix: /home/paker/anaconda3/envs/work36_cu11

        随后提示要下载安装一些文件,等待

  Summary:

  Install: 193 packages

  Total download: 3 GB

        下载过程中有几个包下载了一部分就下不动了,最后就出现了如下错误


CondaHTTPError: HTTP 000 CONNECTION FAILED for url 
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.

CondaError: Downloaded bytes did not match Content-Length
  url: https://conda.anaconda.org/anaconda/linux-64/numba-0.53.1-py36ha9443f7_0.tar.bz2
  target_path: /home/paker/anaconda3/pkgs/numba-0.53.1-py36ha9443f7_0.tar.bz2
  Content-Length: 3858173
  downloaded bytes: 3126274

("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
CondaHTTPError: HTTP 000 CONNECTION FAILED for url 
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.


Could not find conda environment: work36_cu11
You can list all discoverable environments with `conda info --envs`.

故重新开始,按照Long Version一步一步搭建环境。

Long Version

因为拉取子模块完成,故直接从创建环境开始

  • 创建环境
    mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml

    这时候发现要下载的包少了很多,只有40mb,随后也成功下载,成功创建环境

    done
    #
    # To activate this environment, use
    #
    #     $ conda activate work36_cu11
    #
    # To deactivate an active environment, use
    #
    #     $ conda deactivate
    

    输入conda info --envs 有以下输出

    # conda environments:
    #
    base                  *  /home/paker/anaconda3
    work36_cu11              /home/paker/anaconda3/envs/work36_cu11
    
  •  单独安装Cython
    pip install Cython==0.29.14
    

    安装成功。

  • 安装gdl,使用-e选项

    pip install -e .

    下载安装一段时间后,出现了以下报错

    ERROR: Could not find a version that satisfies the requirement pytorch3d (unavailable) (from gdl) (from versions: 0.0.1, 0.1.1, 0.2.0, 0.2.5, 0.3.0)
    ERROR: No matching distribution found for pytorch3d (unavailable)
    

    此时,按照作者指示单独安装pytorch3D

    pip install git+https://github.com/facebookresearch/[email protected]

    安装成功后,再次安装gdl,又出现如下报错

    ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
    dask 2021.3.1 requires partd>=0.3.10, which is not installed.
    

    告诉我需要安装partd>=0.3.10,于是单独安装以下它

    pip install partd==0.3.10

    成功安装,再次安装gdl,输出结果如下,安装完成

    Installing collected packages: GDL
      Attempting uninstall: GDL
        Found existing installation: GDL 0.0.2
        Uninstalling GDL-0.0.2:
          Successfully uninstalled GDL-0.0.2
      Running setup.py develop for GDL
    Successfully installed GDL-0.0.2

至此,环境成功搭建。

开始运行

根据readme里面的指示进入不同的页面运行不同的项目

论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第8张图片

运行EMOCA示例

进入EMOCA页面,按照readme操作

  • 首先下载资源
    cd emoca/gdl_apps/EMOCA/demos
    
    bash download_assets.sh

    资源下载需要一定时间

  • 激活环境

    conda activate work36_cu11

  • 单一图像

    python demos/test_emoca_on_images.py

    运行这个命令来测试EMOCA的一些例子,出现如下错误

    Traceback (most recent call last):
      File "demos/test_emoca_on_images.py", line 21, in 
        from gdl_apps.EMOCA.utils.load import load_model
      File "/home/paker/emoca/gdl_apps/EMOCA/utils/load.py", line 6, in 
        from gdl.models.DECA import DecaModule
      File "/home/paker/emoca/gdl/models/DECA.py", line 29, in 
        from pytorch_lightning import LightningModule
      File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/__init__.py", line 20, in 
        from pytorch_lightning import metrics  # noqa: E402
      File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/__init__.py", line 15, in 
        from pytorch_lightning.metrics.classification import (  # noqa: F401
      File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/classification/__init__.py", line 14, in 
        from pytorch_lightning.metrics.classification.accuracy import Accuracy  # noqa: F401
      File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/classification/accuracy.py", line 18, in 
        from pytorch_lightning.metrics.utils import deprecated_metrics, void
      File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/utils.py", line 22, in 
        from torchmetrics.utilities.data import get_num_classes as _get_num_classes
    ImportError: cannot import name 'get_num_classes'
    

    网上搜索发现是torchmetrics版本问题,原来的版本是0.8,要改成0.5才行,输入以下命令完成更改

    conda uninstall torchmetrics
    
    pip install torchmetrics==0.5.1

    继续执行代码python demos/test_emoca_on_images.py,就没有报这个错误了,但是又有一个新的错误如下

    Traceback (most recent call last):
      File "demos/test_emoca_on_images.py", line 21, in 
        from gdl_apps.EMOCA.utils.load import load_model
      File "/home/paker/emoca/gdl_apps/EMOCA/utils/load.py", line 6, in 
        from gdl.models.DECA import DecaModule
      File "/home/paker/emoca/gdl/models/DECA.py", line 25, in 
        import torch
      File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/torch/__init__.py", line 197, in 
        from torch._C import *  # noqa: F403
    ImportError: /home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/torch/lib/libtorch_python.so: undefined symbol: PySlice_Unpack

    网上搜索发现是python的版本3.6.0与pytorch不匹配,要将python升级为3.6.2,操作如下

    conda install python=3.6.2
    

    随后继续执行刚才的命令python demos/test_emoca_on_images.py,随后就开始下载一些东西,一些.ph文件,之后有一个运行进度条,最后全部运行完成

    100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 554/554 [07:41<00:00,  1.20it/s]
    Done
    (work36_cu11) paker@paker-TUF-Gaming-FX505GE-FX86FE:~/emoca/gdl_apps/EMOCA$ 
    

     上述例子保存在/emoca/gdl_apps/EMOCA/image_output文件夹内论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第9张图片

     一个例子:论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第10张图片

     接着运行下自己找的照片

    python demos/test_emoca_on_images.py --input_folder "/home/paker/Downloads/image_input" --output_folder "/home/paker/Downloads/image_output" --model_name EMOCA

     结果如下论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第11张图片

  •  视频
    python demos/test_emoca_on_video.py --input_video "/home/paker/Downloads/video_input/video_test.mp4" --output_folder "/home/paker/Downloads/video_output" --model_name EMOCA

    使用这个命令完成对视频中人脸的3D重建,结果如下论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation_第12张图片

     

运行情绪检测

先按照情绪检测项目提示,下载一些assets,随后输入以下命令运行情绪检测

python demos/test_emotion_recognition_on_images.py --input_folder "/home/paker/Downloads/image_input" --output_folder "/home/paker/Downloads/image_output"  --modeltype 3dmm --model_name EMOCA-emorec

随后出现以下问题

FileNotFoundError: [Errno 2] No such file or directory: '/is/cluster/work/rdanecek/emoca/finetune_deca/2021_11_09_19-05-01_5101174495546322475_ExpDECA_Affec_clone_NoRing_EmoB_F2_DeSegrend_BlackB_Aug_early/detail/checkpoints/last.ckpt'

暂未解决。。。

四、一些常用指令

  • conda

    conda update -n base conda        #update最新版本的conda
    conda create -n xxxx python=3.5   #创建python3.5的xxxx虚拟环境
    conda activate xxxx               #开启xxxx环境
    conda deactivate                  #关闭环境
    conda info --envs                 #显示所有的虚拟环境
    conda clean -i                    #清理
    cd xxx                            #转到xxx路径里去

你可能感兴趣的:(深度学习,深度学习)