Guided Filter对三维点云降噪

同步更新于github page

Guided Filter点云降噪

Guided Filter一般用来对2D图像进行降噪等处理，实际上，稍作修改后可以对3D点云进行降噪。

从Guided Filter的基本假设出发，可以推导出针对3D数据的处理方法。这里仅考虑引导数据是点云本身的情况。

首先，根据局部线性假设，有

$$q_i=A_k{p}_i+b_k$$

其中$q_i$是滤波后输出的三维点，$p_i$是当前需要滤波的点（即算法的输入），$A_k$是一个3x3矩阵，$b_k$是3x1向量。

我们希望这个局部线性模型，在$p_i$的领域内有最小的重建误差，即

$$\text{arg}\underset{A_k,b_k}{\min }\sum _{j\in N(i)}(\Vert A_k{p}_j+b_k-p_j{\Vert }^2+ϵ\Vert A_k{\Vert }^2)$$

用上式分别对$A_k$和$b_k$求导，并令导数等于0，可得

$$\begin{array}{rl}& A_k(\sum _{j\in N(i)}{p}_j{p}_j^T+nϵI)+b_k\sum _{j\in N(i)}{p}_j^T-\sum _{j\in N(i)}{p}_i{p}_i^T=0\\ & b_k=\frac{1}{n}\sum _{j\in N(i)}{p}_j-A_k\frac{1}{n}\sum _{j\in N(i)}{p}_j={\mu }_i-A_k{\mu }_i\end{array}$$

其中$n$是$p_i$的领域$N(i)$中的点数（包括$p_i$自己），${\mu }_i$是$N(i)$中所有点的平均，将$b_k$带入第一个等式中，且等式两边同时除以$n$，有

$$A_k(\frac{1}{n}\sum _{j\in N(i)}{p}_j{p}_j^T-{\mu }_i{\mu }_i^T+ϵI)=\frac{1}{n}\sum _{j\in N(i)}{p}_j{p}_j^T-{\mu }_i{\mu }_i^T$$

注意到

$$\frac{1}{n}\sum _{j\in N(i)}{p}_j{p}_j^T-{\mu }_i{\mu }_i^T={\Sigma }_i$$

即领域$N(i)$中所有点的协方差矩阵，所以最终有

$$\begin{array}{rl}{A}_k& ={\Sigma }_i({\Sigma }_i+ϵI{)}^{-1}\\ b_k& ={\mu }_i-A_k{\mu }_i\end{array}$$

于是针对点云的Guided Filter算法，可概况为

1. 计算点云中某一个点$p_i$的领域$N(i)$
2. 求$N(i)$中所有点的均值${\mu }_i$和协方差${\Sigma }_i$
3. 根据上面的公式计算$A_k$和$b_k$
4. $q_i=A_k{p}_i+b_k$，输出$q_i$作为对点$p_i$的滤波结果

上面的算法实际上对Guided Filter做了一些简化，原本的Guided Filter需要得到所有包含$p_i$的领域对应的$A_k$和$b_k$，并对这些$A_k,b_k$求平均，再输出$q_i={\bar{A}}_k{p}_i+{\bar{b}}_k$。

三维情况的Guided Filter依然保持了二维情况的优点，即对边缘或者尖锐形状的地方有较好的保护作用。平滑作用的强弱可以通过调节领域搜索时的半径$r$和$ϵ$来改变。

其实，双边滤波（Bilateral Filter）也能用于3D点云的降噪，而Guided Filter相对于双边滤波在三维情况下的最大优势，在于不用估计点云中每个点的法线方向。

Results

输入的带有噪声的点云：

经过两轮Guided Filter滤波后的点云：

Notes

1. 对同一个点云进行多轮滤波（一般2轮足矣）可以大大提高降噪效果，有点类似于优化中的重复线性化思想。但过多的轮数可能造成滤波后的点云分布不均，由于计算均值的关系，每一轮滤波都会放大原来点云的非均匀性。

Code

Python源码可见github.

References

1. Guided Image Filtering