互补格雷码+相移码求解三维点云

简介

互补格雷码+相移码实现物体三维重建，整个重建过程可以分为6个步骤：

1. 生成格雷码图像
2. 生成四步相移图像
3. 求解相对相位
4. 求解绝对相位
5. 获得相机-投影仪像素坐标之间的对应关系
6. 根据标定参数获得重建点云信息

Github项目已建立，项目中提供了实验数据，供大家学习，欢迎大家star⭐️收藏！

求解绝对相位的具体原理和代码可以参考(超详细)互补格雷码+相移码求解包裹相位（Python实现），下面的内容主要介绍获得绝对相位后如何计算三维坐标点，重在理论推导。

5. 获得相机-投影仪像素坐标之间的对应关系

获得绝对相位后，就可以建立相机-投影仪像素坐标之间的对应关系，假设相机像素坐标为$(u_c,v_c)$，投影仪像素坐标为$(u_p,v_p)$，相移码一个周期所占的像素个数为$T$，那么通过相位关系可以得到如下关系式：

$$\Phi (u_p,v_p)=\Phi (u_c,v_c)$$

$$\Phi (u_p,v_p)=\frac{2\pi u_p}{T}$$

可以得到如下关系式：

$$u_p=\frac{\Phi (u_p,v_p)\ast T}{2\pi }=\frac{\Phi (u_c,v_c)\ast T}{2\pi }$$

6. 根据标定参数获得重建点云信息

6.1 根据内参数获得关系式

根据相机模型：

$$\begin{array}{rl}\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]& =\left[\begin{array}{cccc}{f}_{cx}& 0& u_{c0}& 0\\ 0& f_{cy}& v_{c0}& 0\\ 0& 0& 1& 0\end{array}\right]\frac{1}{Z_c}\left[\begin{array}{cc}{R}_{w\to c}& t_{w\to c}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ & =\left[\begin{array}{ccc}{f}_{cx}& 0& u_{c0}\\ 0& f_{cy}& v_{c0}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\\ 1\end{array}\right]\\ & =\left[\begin{array}{ccc}{f}_{cx}& 0& u_{c0}\\ 0& f_{cy}& v_{c0}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ 1\end{array}\right]\end{array}$$

可以得到：

$$\{\begin{array}{l}{X}_c=x_c\ast Z_c\\ Y_c=y_c\ast Z_c\\ Z_c=Z_c\end{array}$$

由相机内参数可得

$$\{\begin{array}{l}{u}_c=f_{cx}\ast x_c+u_{c0}\\ v_c=f_{cy}\ast y_c+v_{c0}\end{array}\Rightarrow \{\begin{array}{l}{x}_c=(u_c-u_{c0})/f_{cx}\\ y_c=(v_c-v_{c0})/f_{cy}\end{array}$$

投影仪可以看作逆相机，因此投影仪模型与相机模型相同，同理可得：

$$\{\begin{array}{l}{X}_p=x_p\ast Z_p\\ Y_p=y_p\ast Z_p\\ Z_p=Z_p\end{array}$$

$$\{\begin{array}{l}{u}_p=f_{px}\ast x_p+u_{p0}\\ v_p=f_{py}\ast y_p+v_{p0}\end{array}\Rightarrow \{\begin{array}{l}{x}_p=(u_p-u_{p0})/f_{px}\\ y_p=\ast (v_p-v_{p0})/f_{py}\end{array}$$

6.2 根据外参数获得方程

设相机投影仪系统的外参数为$R_{c\to p}=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]、t_{c\to p}=\left[\begin{array}{ccc}{t}_x& t_y& t_z\end{array}\right]$

由下面式子，

$$\left[\begin{array}{c}{X}_p\\ Y_p\\ Z_p\end{array}\right]=R_{c\to p}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]+t_{c\to p}$$

展开得：

$$\{\begin{array}{l}{X}_p=r_{11}{X}_c+r_{12}{Y}_c+r_{13}{Z}_c+t_x=(r_{11}{x}_c+r_{12}{y}_c+r_{13})Z_c+t_x\\ Y_p=r_{21}{X}_c+r_{22}{Y}_c+r_{23}{Z}_c+t_y=(r_{21}{x}_c+r_{22}{y}_c+r_{23})Z_c+t_y\\ Z_p=r_{31}{X}_c+r_{32}{Y}_c+r_{33}{Z}_c+t_z=(r_{31}{x}_c+r_{32}{y}_c+r_{33})Z_c+t_z\end{array}$$

又由相机投影仪像素坐标得关系有：

$$\{\begin{array}{l}{u}_p=f_{px}\ast x_p+u_{p0}\\ u_p=\frac{\Phi (u_c,v_c)\ast T}{2\pi }\end{array}\Rightarrow f_{px}\ast x_p+u_{p0}=\frac{\Phi (u_c,v_c)\ast T}{2\pi }$$

最终得到连联立方程组：

$$\{\begin{array}{l}{x}_p\ast Z_p=(r_{11}{x}_c+r_{12}{y}_c+r_{13})Z_c+t_x\\ Z_p=(r_{31}{x}_c+r_{32}{y}_c+r_{33})Z_c+t_z\\ f_{px}\ast x_p+u_{p0}=\frac{\Phi (u_c,v_c)\ast T}{2\pi }\end{array}$$

解得：

$$Z_c=\frac{x_p{t}_z-t_x}{J_x-J_z{x}_p}$$

$J_x=(r_{11}{x}_c+r_{12}{y}_c+r_{13})$；
$J_z=(r_{31}{x}_c+r_{32}{y}_c+r_{33})$；
$x_p=(\frac{\Phi (u_c,v_c)\ast T}{2\pi }-u_{p0})/f_{px}$。

相机坐标系下的得三维坐标点为：

$$\{\begin{array}{l}{X}_c=x_c\ast Z_c\\ Y_c=y_c\ast Zc\\ Z_c=\frac{x_p{t}_z-t_x}{J_x-J_z{x}_p}\end{array}$$