DMTet 阅读笔记

介绍

• 主页 https://nv-tlabs.github.io/DMTet/
• 论文pdf https://nv-tlabs.github.io/DMTet/assets/dmtet.pdf
• 视频汇报 https://slideslive.com/38967642/deep-marching-tetrahedra-a-hybrid-representation-for-highresolution-3d-shape-synthesis?ref=homepage
• 疑似代码 https://github.com/NVlabs/nvdiffrec/blob/main/geometry/dmtet.py 在nvdiffrec项目下的工具代码
• 用DMTet恢复点云 https://github.com/NVIDIAGameWorks/kaolin/blob/master/examples/tutorial/dmtet_tutorial.ipynb
• 列表包含两个DMTet的demo https://kaolin.readthedocs.io/en/latest/notes/tutorial_index.html

DMTet的全称为Deep Marching Tetrahedra，是MT(Marching Tetrahedra)算法的深度学习版本。顾名思义，它与MT算法有共通之处，而它又是基于深度学习（Deep）的方法。整个论文的各个步骤都是端到端的、可微的，因而可以被反向梯度重传所训练。

从概览图可知，输入可以使点云或者粗voxel，算法会先细分生成隐式表达SDF，再用MT算法生成显式表达，最后得到模型参数表面(Parametric Surfaces)。

利用崭新的混合3D表达方式，DMTet能集合隐式和显式的3D表达。

• 当前的隐式表达方法的做法，大多是被训练来拟合signed distance values。相比于它们，本论文直接优化重建的表面，从而能够用更少的物体来合成更细微的几何细节
• 当前的显式表达方法的做法，大多是3D深度生成模型，直接生成显式表达，比如mesh。本论文能够合成有任意拓扑的物体形状。

相关概念

chamfer distance

https://www.cnblogs.com/ariel-dreamland/p/13225299.html

3D点云中的倒角距离

以上公式的S1,S2分别表示两组3D点云。

1. 第一项代表S1中任意一点x 到S2 的最小距离之和
2. 第二项则表示S2 中任意一点y 到S1 的最小距离之和。

如果该距离较大，则说明两组点云区别较大；如果距离较小，则说明重建效果较好。一般来说，该距离用作3D重建网络的损失函数。