根据深度信息重建世界坐标

摘自
https://forum.unity.com/threads/reconstructing-world-pos-from-depth-imprecision.228936/

unity的实现代码

//main problem encountered is camera.projectionMatrix = ??????? worked but further from camera became more inaccurate
//had to use GL.GetGPUProjectionMatrix( ) seems to stay pretty exact now

//in script somewhere:
Matrix4x4 viewMat = camera.worldToCameraMatrix;
Matrix4x4 projMat = GL.GetGPUProjectionMatrix( camera.projectionMatrix, false );
Matrix4x4 viewProjMat = (projMat * viewMat);          
Shader.SetGlobalMatrix("_ViewProjInv", viewProjMat.inverse);

//in fragment shader:
uniform float4x4 _ViewProjInv;
float4 GetWorldPositionFromDepth( float2 uv_depth )
{    
        float depth = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, uv_depth);
        float4 H = float4(uv_depth.x*2.0-1.0, (uv_depth.y)*2.0-1.0, depth, 1.0);
        float4 D = mul(_ViewProjInv,H);
        return D/D.w;
}

先获取当前位置的深度值，区间为[0,1]。然后把screen space的坐标转换到标准设备空间（NDC），DirectX在NDC中x,y的区间是[0,1]。OpenGL是[-1,1]，所以对OpenGL，最后乘上逆矩阵，之后做一次标准化。

方法很简洁，就是把NDC的坐标再通过逆矩阵转换到世界坐标。但其正确性需要证明一下，因为这里有非线性变换，就是最后标准化，除以w的步骤。

简要证明

假设 V，P V ， P 分别为camera和projection转换矩阵，最后得到的NDC的坐标为 (x,y,z) ( x , y , z ) 。因为Projection分成了两个部分，线性部分和非线性部分，线性部分就是做矩阵变换，非线性部分就是除以最后的w维（其实 w=z′ w = z ′ ， z′ z ′ 是当前点对应于世界空间中与camera在z轴的距离，看下面的投影矩阵形式就知道了），得到欧氏空间坐标，也就是 (x,y,z) ( x , y , z ) 。

因为看不到Unity的源码，所以这里写出一般的正交投影矩阵， r r 为aspect ratio， α α 为vertial field of view， f f 为视椎体远平面， n n 为视椎体近平面。

P=⎡⎣⎢⎢⎢⎢⎢⎢1rtan(α/2)00001tan(α/2)0000ff−n100−nff−n0⎤⎦⎥⎥⎥⎥⎥⎥ P = [ 1 r tan ⁡ ( α / 2 ) 0 0 0 0 1 tan ⁡ ( α / 2 ) 0 0 0 0 f f − n − n f f − n 0 0 1 0 ]

unity使用的矩阵左乘，即 P∗vin=vout P ∗ v i n = v o u t ，所以正交投影矩阵形式应该跟上面类似。一个欧氏空间的顶点 (x,y,z) ( x , y , z ) 对应无数个齐次空间点 (xw,yw,zw,w) ( x w , y w , z w , w ) ，w是非零的。

对于上述问题，假设 w=z′ w = z ′ ， z′ z ′ 是当前点对应于世界空间中与camera在z轴的距离，区间为 [near,far] [ n e a r , f a r ] ，把NDC下的点 (x,y,z) ( x , y , z ) 写成齐次坐标 (xw,yw,zw,w)×1w ( x w , y w , z w , w ) × 1 w ，乘以逆变换矩阵将会得到实际在world space中对应的点 (x0,y0,z0,1)×1w ( x 0 , y 0 , z 0 , 1 ) × 1 w ，因为最后要做一次标准化，所以 1w 1 w 最后会消去，最终得到对应的欧氏坐标。

补充

进一步了解投影变换可以参考 https://blog.csdn.net/dengyibing/article/details/80784939