论文项目复现笔记----Emotion Driven Monocular Face Capture and Animation

一、项目相关

项目代码网址：GitHub - radekd91/emoca: Official repository accompanying a CVPR 2022 paper EMOCA: Emotion Driven Monocular Face Capture And Animation. EMOCA takes a single image of a face as input and produces a 3D reconstruction. EMOCA sets the new standard on reconstructing highly emotional images in-the-wildhttps://github.com/radekd91/emoca

项目介绍：

此项目是CVPR 2022 论文 EMOCA: Emotion Driven Monoocular Face Capture And Animation 的官方代码 。 EMOCA 将人脸的单个图像作为输入并生成 3D 重建。 EMOCA 设定了在自然场景下重建高度情绪化图像的新标准。EMOCA（EMOtion Capture and Animation）（情绪捕捉和动画）

二、开始复现（Windows系统）

主要以GitHub页面给出的项目说明来操作运行，遇到问题再一个一个解决

第一步 ：Dependences（下载一些资源和软件）

• 下载conda，这里我直接在官网下载了anaconda，里面包含conda和Python以及其他的包，在这之前我已经下载了Python和pycharm，暂不知道两个Python是否会影响后面的操作。第一次下载conda后，在开始菜单没有发现conda这个应用，后面查找教程，原来在安装过程的最后要勾选添加环境变量，卸载重装问题解决。
• 下载mamba，mamba是用来加速conda的，打开anaconda prompt，输入如下代码完成mamba的安装

  conda install -n base conda-forge::mamba

•  下载代码，这个直接点击项目github页面上的coda->Download ZIP下载，随后解压在某个文件夹内，这里我放在了D盘新建的emoca文件夹里，路径为D:\emoca\emoca-release-EMOCA，后面会用到这个路径。

第二步：Short Version（短的版本）

• 首先打开anaconda prompt，此时显示的代码命令行显示的是

  (base) C:\Users\XXX>

  代表的是在这个路径下执行一些操作，而我们的操作要在我们刚刚下载的路径里面执行，故需要改变路径，输入如下代码，cd 后面是我们下载的资源的路径。

  (base) C:\Users\XXX>D:
  
  (base) D:\>cd D:\emoca\emoca-release-EMOCA

  之后便可在该路径下操作

  (base) D:\emoca\emoca-release-EMOCA>

• 按照项目说明，输入如下代码安装脚本

  bash install.sh

  但是此时又出现了错误，找不到bash这个命令，后面查找教程，发现bash貌似是Linux命令，无法直接在Windows系统中使用，需要在命令行输入如下代码，之后问题解决

  conda install m2-base

  继续输入bash install.sh，让脚本开始下载，并构件我们要想的conda environment，名字是

  work36_cu11，但是很不幸，遇到了项目作者提到的无法预料的问题，一片红，部分错误如下

  An unexpected error has occurred. Conda has prepared the above report.
  
  Could not find conda environment: work36_cu11
  You can list all discoverable environments with `conda info --envs`.

  查看教程，有个方法是输入如下代码conda clean -i再重启anaconda prompt，然而，操作了一下还是没用，仍然是相同的报错，命令行输入conda info --envs也没有出现想要的环境，因此可能需要尝试项目作者给出的长版本

第三步：Long Version（长版本）

         根据作者提示，短版本配置环境失效则用长版本来配置。

• 使用以下代码拉取相关子模块

  bash pull_submodules.sh

  出现如下错误

  git: command not found

  查找教程，发现出现这种原因是未将git添加到系统变量里，于是加入系统变量后继续输入上面的代码，可以运行起来，但是由于项目文件太大的原因clone不下来，因此根据错误提示，从对应的网站中手动下载相应的文件，再复制到对应的文件夹中，这一步就完成了。

• 根据项目提示，用以下代码创建一个环境

  mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml

  经过一段时间的包的下载，又出现了如下错误

  An unexpected error has occurred. Conda has prepared the above report.

  查找解决方案，第一种，清理conda，用代码conda clean -i，然后重启conda，再次创建，未解决问题；第二种，使用代码conda clean --packages && conda clean --all && conda update --all，再重启conda继续创建，问题依然存在；第三种，删除C:\Users[user_name].condarc文件，之后重启conda，继续创建，未解决问题；第四种，关闭VPN，但是我未开启VPN。项目停滞

重新开始

卸载电脑上的python，pycharm，anaconda，删除环境变量，重新开始本项目。

• 首先安装anaconda，直接用之前下载好的安装包，安装好后在cmd中输入python，有输出，证明安装成功。
• 之后为conda添加镜像源，直接将以下代码复制到.contract文件中。

channels:
  - defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

• 输入命令conda install m2-base，解决windows不能使用bash命令的问题，执行该代码后又出现如下InvalidArchiveError报错

  InvalidArchiveError("Error with archive C:\\Users\\金兴亮\\.conda\\pkgs\\conda-4.12.0-py39haa95532_0_mw7kqxr\\info-conda-4.12.0-py39haa95532_0.tar.zst.  You probably need to delete and re-download or re-create this file.  Message from libarchive was:\n\nFailed to open 'C:\\Users\\XXX\\.conda\\pkgs\\conda-4.12.0-py39haa95532_0_mw7kqxr\\info-conda-4.12.0-py39haa95532_0.tar.zst'")

  解决方法是修改anaconda文件夹下的user的权限为全控制，之后再运行问题解决

• 执行命令conda install -n base conda-forge::mamba安装mamba，安装成功。

• 直接从长版本开始操作，运行bash pull_submodules.sh，提示git:command not found。原因是未下载git，于是通过指令conda install git安装git，并将C:\ProgramData\Anaconda3\Library\cmd路径添加到环境变量里，重新运行bash pull_submodules.sh，运行成功

• 随后执行mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml，按照文件创建环境，然而还是出现同样的问题，错误报告如下：

   

三、开始复现（Linux系统）

安装Ubuntu系统

• 这里选择双系统安装，便于后续的使用。主要参考link，在磁盘管理中分出200GB空间用于Ubuntu系统，在Windows上面制作启动u盘，首先更改硬盘模式为AHIC，随后关机开机，出现笔记本品牌logo，狂按esc（华硕笔记本），进入安装界面，按照参考博文选择选项，随后在分区那块，分了18G给swap，1G给EFI引导区，剩下的全部分给/，然后在下面的安装启动引导器的设备一栏，选择efi系统分区所对应的设备（EFI分了哪个磁盘就选哪个）。安装完成如下：

• 随后，按照网上的一个教程添加显卡驱动，运行了一个命令sudo ubuntu-drivers autoinstall，随后重启Ubuntu，发现虽然显卡驱动安装成功，但wifi和蓝牙都用不了了，也无法使用手机USB联网，网上未找到合适的解决方案，无奈只好重装系统。
• 按照网上给出的重装教程link，要在Windows环境下打开磁盘管理，然后删除Ubuntu对应的磁盘内容，对于EFI区要使用工具清理，否则会造成一些无法进入Windows等的错误。操作完成的磁盘分区

• 显示又有195GB的未分配空间，随后继续使用该空间安装Ubuntu。安装成功如下： 

 下载一些资源和软件

在搭建环境之前，还对ubuntu系统进行了一些设置，操作记录在另一篇博文上：link

• 下载安装cuda

//输入以下命令查看驱动对应的cuda版本
nvidia-smi
 
//进入官网找到对应版本的cuda安装界面，选择自己的版本，再按照提示依次输入以下命令
wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run
 
sudo sh cuda_11.4.0_470.42.01_linux.run
 
//开始安装会弹出窗口，依次点击continue，输入accept，enter取消对驱动的安装，再选择install即开始安装
 
//安装完成后，会有一个Summary提示，这是正确安装的样子，接下来添加环境变量
 
//输入以下指令，打开.bashrc文件
sudo gedit ~/.bashrc
 
//随后在弹出的文件中最后面加上下面的这些代码
export PATH=$PATH:/usr/local/cuda/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64  
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda/lib64
 
//save保存，然后输入以下命令，使更改的环境变量生效
source .bashrc
 
//最后验证是否安装成功
nvcc -V
 
//输出了版本信息即安装成功
 
//进一步验证，使用cuda的测试样例
cd /usr/local/cuda-11.4/samples/1_Utilities/deviceQuery
 
sudo make
 
sudo ./deviceQuery
 
//最后输出显示Result=PASS即大功告成

• 下载anaconda

//进入官网https://www.anaconda.com/products/individual，下载对应的安装包

//进入下载文件的目录内，输入以下命令开始安装
bash Anaconda3-2021.11-Linux-x86_64.sh

//一路回车加yes完成安装

//配置环境变量
sudo gedit ~/.bashrc

//添加以下代码
export PATH="/home/kayer/anaconda3/bin:$PATH"

//使其生效
source ~/.bashrc

• 下载mamba

conda install -n base conda-forge::mamba
//安装会卡住，耐心等待

•  用git下载项目代码，下载完的项目文件在home目录下

//首先安装配置好git，然后输入以下命令

git clone https://github.com/radekd91/emoca.git

Short Version

执行bash install.sh，install.sh文件内容如下，观察终端的运行过程

#!/bin/bash
if ! command -v mamba &> /dev/null
then
    echo "mamba could not be found. Please install mamba before running this script"
    exit
fi

echo "Pulling submodules"
bash pull_submodules.sh
echo "Creating conda environment"
mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml 
eval "$(conda shell.bash hook)" # make sure conda works in the shell script
conda activate work36_cu11
echo "Installing GDL"
pip install Cython==0.29
pip install -e . 
echo "Making sure Pytorch3D installed correctly"
pip install git+https://github.com/facebookresearch/[email protected]
echo "Installation finished"

• 首先执行的是bash pull_submodules.sh，拉取一些子模块
  运行成功，在对应的文件夹中发现存在相关内容。
• 随后是创建环境mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml
  终端输出如下，说明正在创建环境 

Transaction

  Prefix: /home/paker/anaconda3/envs/work36_cu11

        随后提示要下载安装一些文件，等待

  Summary:

  Install: 193 packages

  Total download: 3 GB

        下载过程中有几个包下载了一部分就下不动了，最后就出现了如下错误

CondaHTTPError: HTTP 000 CONNECTION FAILED for url 
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.

CondaError: Downloaded bytes did not match Content-Length
  url: https://conda.anaconda.org/anaconda/linux-64/numba-0.53.1-py36ha9443f7_0.tar.bz2
  target_path: /home/paker/anaconda3/pkgs/numba-0.53.1-py36ha9443f7_0.tar.bz2
  Content-Length: 3858173
  downloaded bytes: 3126274

("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
CondaHTTPError: HTTP 000 CONNECTION FAILED for url 
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.


Could not find conda environment: work36_cu11
You can list all discoverable environments with `conda info --envs`.

故重新开始，按照Long Version一步一步搭建环境。

Long Version

因为拉取子模块完成，故直接从创建环境开始

• 创建环境

  mamba env create python=3.6 --file conda-environment_py36_cu11_ubuntu.yml

  这时候发现要下载的包少了很多，只有40mb，随后也成功下载，成功创建环境

  done
  #
  # To activate this environment, use
  #
  #     $ conda activate work36_cu11
  #
  # To deactivate an active environment, use
  #
  #     $ conda deactivate
  

  输入conda info --envs 有以下输出

  # conda environments:
  #
  base                  *  /home/paker/anaconda3
  work36_cu11              /home/paker/anaconda3/envs/work36_cu11
  

•  单独安装Cython

  pip install Cython==0.29.14
  

  安装成功。

• 安装gdl，使用-e选项

  pip install -e .

  下载安装一段时间后，出现了以下报错

  ERROR: Could not find a version that satisfies the requirement pytorch3d (unavailable) (from gdl) (from versions: 0.0.1, 0.1.1, 0.2.0, 0.2.5, 0.3.0)
  ERROR: No matching distribution found for pytorch3d (unavailable)
  

  此时，按照作者指示单独安装pytorch3D

  pip install git+https://github.com/facebookresearch/[email protected]

  安装成功后，再次安装gdl，又出现如下报错

  ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
  dask 2021.3.1 requires partd>=0.3.10, which is not installed.
  

  告诉我需要安装partd>=0.3.10，于是单独安装以下它

  pip install partd==0.3.10

  成功安装，再次安装gdl，输出结果如下，安装完成

  Installing collected packages: GDL
    Attempting uninstall: GDL
      Found existing installation: GDL 0.0.2
      Uninstalling GDL-0.0.2:
        Successfully uninstalled GDL-0.0.2
    Running setup.py develop for GDL
  Successfully installed GDL-0.0.2

至此，环境成功搭建。

开始运行

根据readme里面的指示进入不同的页面运行不同的项目

运行EMOCA示例

进入EMOCA页面，按照readme操作

• 首先下载资源

  cd emoca/gdl_apps/EMOCA/demos
  
  bash download_assets.sh

  资源下载需要一定时间

• 激活环境

  conda activate work36_cu11

• 单一图像

  python demos/test_emoca_on_images.py

  运行这个命令来测试EMOCA的一些例子，出现如下错误

  Traceback (most recent call last):
    File "demos/test_emoca_on_images.py", line 21, in 
      from gdl_apps.EMOCA.utils.load import load_model
    File "/home/paker/emoca/gdl_apps/EMOCA/utils/load.py", line 6, in 
      from gdl.models.DECA import DecaModule
    File "/home/paker/emoca/gdl/models/DECA.py", line 29, in 
      from pytorch_lightning import LightningModule
    File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/__init__.py", line 20, in 
      from pytorch_lightning import metrics  # noqa: E402
    File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/__init__.py", line 15, in 
      from pytorch_lightning.metrics.classification import (  # noqa: F401
    File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/classification/__init__.py", line 14, in 
      from pytorch_lightning.metrics.classification.accuracy import Accuracy  # noqa: F401
    File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/classification/accuracy.py", line 18, in 
      from pytorch_lightning.metrics.utils import deprecated_metrics, void
    File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/pytorch_lightning/metrics/utils.py", line 22, in 
      from torchmetrics.utilities.data import get_num_classes as _get_num_classes
  ImportError: cannot import name 'get_num_classes'
  

  网上搜索发现是torchmetrics版本问题，原来的版本是0.8，要改成0.5才行，输入以下命令完成更改

  conda uninstall torchmetrics
  
  pip install torchmetrics==0.5.1

  继续执行代码python demos/test_emoca_on_images.py，就没有报这个错误了，但是又有一个新的错误如下

  Traceback (most recent call last):
    File "demos/test_emoca_on_images.py", line 21, in 
      from gdl_apps.EMOCA.utils.load import load_model
    File "/home/paker/emoca/gdl_apps/EMOCA/utils/load.py", line 6, in 
      from gdl.models.DECA import DecaModule
    File "/home/paker/emoca/gdl/models/DECA.py", line 25, in 
      import torch
    File "/home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/torch/__init__.py", line 197, in 
      from torch._C import *  # noqa: F403
  ImportError: /home/paker/anaconda3/envs/work36_cu11/lib/python3.6/site-packages/torch/lib/libtorch_python.so: undefined symbol: PySlice_Unpack

  网上搜索发现是python的版本3.6.0与pytorch不匹配，要将python升级为3.6.2，操作如下

  conda install python=3.6.2
  

  随后继续执行刚才的命令python demos/test_emoca_on_images.py，随后就开始下载一些东西，一些.ph文件，之后有一个运行进度条，最后全部运行完成

  100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 554/554 [07:41<00:00,  1.20it/s]
  Done
  (work36_cu11) paker@paker-TUF-Gaming-FX505GE-FX86FE:~/emoca/gdl_apps/EMOCA$ 
  

   上述例子保存在/emoca/gdl_apps/EMOCA/image_output文件夹内

   一个例子：

   接着运行下自己找的照片

  python demos/test_emoca_on_images.py --input_folder "/home/paker/Downloads/image_input" --output_folder "/home/paker/Downloads/image_output" --model_name EMOCA

   结果如下

•  视频

  python demos/test_emoca_on_video.py --input_video "/home/paker/Downloads/video_input/video_test.mp4" --output_folder "/home/paker/Downloads/video_output" --model_name EMOCA

  使用这个命令完成对视频中人脸的3D重建，结果如下

   

运行情绪检测

先按照情绪检测项目提示，下载一些assets，随后输入以下命令运行情绪检测

python demos/test_emotion_recognition_on_images.py --input_folder "/home/paker/Downloads/image_input" --output_folder "/home/paker/Downloads/image_output"  --modeltype 3dmm --model_name EMOCA-emorec

随后出现以下问题

FileNotFoundError: [Errno 2] No such file or directory: '/is/cluster/work/rdanecek/emoca/finetune_deca/2021_11_09_19-05-01_5101174495546322475_ExpDECA_Affec_clone_NoRing_EmoB_F2_DeSegrend_BlackB_Aug_early/detail/checkpoints/last.ckpt'

暂未解决。。。

四、一些常用指令

• conda

  conda update -n base conda        #update最新版本的conda
  conda create -n xxxx python=3.5   #创建python3.5的xxxx虚拟环境
  conda activate xxxx               #开启xxxx环境
  conda deactivate                  #关闭环境
  conda info --envs                 #显示所有的虚拟环境
  conda clean -i                    #清理
  cd xxx                            #转到xxx路径里去