深度学习三维重建模型volsdf使用记录

小白学习记录

1.首先利用COLMAP获取相机参数

        1.1特征提取

        1.2特征匹配

        1.3稀疏重建

        1.4导出为text

2.利用colmap/read_write_model.py at dev · colmap/colmap · GitHub将text文件转换为cameras_before_normalization.npz，再利用volsdf/data/preprocess at main · lioryariv/volsdf (github.com)中的normalize_cameras.py进行归一化

3.文件组织格式

将放在volsdf/data下

       

        |------scan1

                |------image

                        |------000.png

                        |------001.png

                        ......

                |------mask(我按照NeuS中的格式准备了全白的mask，好像不是必须的，但我没有进行测试)

                        |------000.png

                        |------001.png

                        ......

                |------cameras.npz

4.修改配置参数

由于我需要运行在我自己做的数据集（单个场景）上， 因此需要修改以下几个配置参数

expname=

data_dir=

img_res=[xxx,xxx]

scan_id=1

5.跑模型！

RTX3090，24G显存，base下torch==1.9.0，Python==3.8，cuda==11.1

直接利用environment.yml创建conda环境并运行后，提示“GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation.”，这是因为cuda版本不对，我首先选择利用conda安装cuda==11.1，但提示有冲突，后改用pip进行安装

pip3 install torch==1.8.2+cu111 torchvision==0.9.2+cu111 torchaudio===0.8.2 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html

重新运行，提示“ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.21‘ not found”，这是因为gcc版本不对，按照解决ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.22‘ not found中的方法进行解决，大功告成

2022.04.10更新：

1.运行999轮后出现问题，错误提示是“No such file or directory: '/root/miniconda3/envs/volsdf/lib/python3.9/site-packages/plotly/package_data/plotly.min.js”目前还没有找到解决方法，暂且留个坑

2.在跑自己渲染的另一个数据集时，出现“RuntimeError: shape '[1, 4915200, 3]' is invalid for input of size 11059200”，原因是使用blender渲染时输出格式是RGBA四通道，应该改成RGB三通道进行渲染