网格生成之TSDF算法学习笔记

本博客内容来源于网络以及其他书籍，结合自己学习的心得进行重编辑，因为看了很多文章不便一一标注引用，如图片文字等侵权，请告知删除。

传统2D计算机视觉学习笔记目录------->传送门
传统3D计算机视觉学习笔记目录------->传送门

前言

国庆结束，又是一段漫长的工作期，有点烦，~~~~ (>_<) ~~~~ 。本篇文章为大家介绍一个非常经典也非常重要的算法，TSDF，kinFusion的灵魂所在。不知道kinfusion，那没关系，看完这篇文章你就把kinfusion里面的精髓学到了。

TSDF 算法简介

TSDF ，全称：truncated signed distance function，基于截断的带符号距离函数，是一种常见的在3D重建中计算隐势面的方法。著名的Kinfusion就是才用TSDF来构建空间体素的，通过求去每个体素的值，然后再使用之前提到的Marching Cube来提取表面的。

TSDF是在SDF进行改进的，是在SDF提出了截断距离，具体内容我们们在下面讲 ，很简单的。SDF是在2003年由S Osher提出。在拥有大内存的显卡并行计算的情况下，使用TSDF可以做到实时的重建效果，获得了很多方面的落地使用。

下面我们一起来看一下，TSDF的具体的算法思路。

TSDF 算法思路

TSDF的算法的思路很朴素，就是用一个大的空间（我们称之为volume）作为要建立的三维模型，这个空间可以完全包括我们的模型，volume由许多个小的体素（我们称之为voxel，就是小立方体）组成，

每个voxel对应空间中一个点，这个点我们用两个量来评价：

1. 该voxel到最近的surface（当然我们已开始不知道，我们假设有）（一般称作zero crossing）的距离，我们记作tsdf(x),即带符号距离
2. 体素更新时的权重，我们记作w 。

假设我们真是的面到相机的深度是ds，相机采集到的深度dv，那么符号距离值就是d(x) = ds - dv, 当d(x)>0 时说明该体素在真实的面的前面，小于0 ，则说明该体素在真实的面的后面。

可能你会说，这不是废话嘛，我要是知道真是的面在哪里，还用什么TSDF啊。每一次相机采集出来的数值，我们都认为是最大可能真实面，在相机前后也有可能是真实面，但是概率要小。这个前后距离我们对它进行一定的限制，因为离得特别远的话，其概率也是很小，我们就忽略了。

在计算新的拍摄帧的体素的符号距离值和体素更新的过程中，我们不是所有的体素都查找和更新，而是只查找更新截断距离内的体素，这也是TSDF与SDF不同的一点，大大缩短了计算量，并提高了精度。

下面来看一下其具体的计算过程会有更清晰的理解。

TSDF 算法的步骤

TSDF 算法我们分为一下这3部分：

1. 准备工作
2. 计算当前帧的TSDF值以及权重
3. 当前帧与全局融合结果进行融合

1. 准备工作

1. 建立长方体包围盒，能够完全包围要重建的物体。
2. 划分网格体素，对包围盒尽心划分n等分，体素的大小取决于包围盒和划分体素的数目决定。我们将整个空间的体素全部存入GPU运算，每个线程处理一条(x,y)。即对于(x,y,z)的晶格坐标，每个GPU进程扫描处理一个(x,y)坐标下的晶格柱。
3. 对于构造的立体中的每个体素g,转化g为世界坐标系下得三维位置点 p（根据体素的大小，以及体素的数目）;

2. 计算当前帧的TSDF值以及权重

这一步我们遍历所有的体素，以一个体素在世界坐标系三维位置点p为例

4. 由深度数据的相机位姿矩阵，求世界坐标系下点p在相机坐标系下得映射点v，并由相机内参矩阵，反投影v点求深度图像中的对应像素点x，像素点x的深度值为value(x)，点v到相机坐标原点的距离为distance(v)；
5. 那么p的sdf值为 sdf(p) = value(x)- distance(v)。现在我们就要引入截断距离了，计算出tsdf(p), 公式写出来比较复杂，直接描述就是在截断距离u以内，tsdf(p) = sdf(p)/|u|, 否则，如果sdf(p) >0，tsdf(p) = 1,sdf(p) <0，tsdf(p) = -1。
6. 权重w(p)的计算公式：
   w(p) = cos(θ)/distance(v)，其中θ为投影光线与表面法向量的夹角。

经过我们这一步就算出这一帧的所有体素的tsdf值以及权重值。

3. 当前帧与全局融合结果进行融合

如果当前帧是第一帧，则第一帧即是融合结果，否则需要当前帧与之前的融合结果在进行融合。我们命名大写TSDF(p)为体素p的融合TSDF值，W(p)为融合权重值，tsdf(p)为体素p当前帧的TSDF值，w(p)为当前帧权重值。现在我们要通过tsdf(p)更新TSDF(p)。公式如下：

通过上述公式就可以将新的帧融合进融合帧内。

第一部分完成后，就是每添加一帧深度数据，执行一遍2,3步的计算，知道最后输出结果给Marching Cube计算提出三角面。

TSDF 算法的特点

TSDF 算法的特点就是计算非常简单，没有复杂的计算，但是其需要大量的并行。所以在大规模并行化显卡出现 之前，其计算需要非常长的时间。而用上显卡之后，其计算速度非常快，可以做到实时，需要比较大显存的显卡。

TSDF 生成的网格的细节保持比较好，而且精确度也比较好，但是在边缘处以及前后景交界处，会出现较大的拖尾现象。因为在体素p向像素坐标系投影时会有一定的误差。

总结

TSDF 可以说是极大的促进了3维重建的平民化以及落地进程，可以出说初入门三维重建必须要学习的一个算法。其实写完了，才发现之前的理解竟然有的地方有错误，还是要用文字表达出来，学的才能更彻底。

惭愧惭愧

---

重要的事情说三遍：

如果您看到我的文章对您有所帮助，那就点个赞呗 ( * ^ __ ^ * )

如果您看到我的文章对您有所帮助，那就点个赞呗( * ^ __ ^ * )

如果您看到我的文章对您有所帮助，那就点个赞呗( * ^ __ ^ * )

传统2D计算机视觉学习笔记目录------->传送门
传统3D计算机视觉学习笔记目录------->传送门

任何人或团体、机构全部转载或者部分转载、摘录，请保留本博客链接或标注来源。博客地址：开飞机的乔巴

作者简介：开飞机的乔巴（WeChat：zhangzheng-thu），现主要从事机器人抓取视觉系统以及三维重建等3D视觉相关方面，另外对slam以及深度学习技术也颇感兴趣，欢迎加我微信或留言交流相关工作。