根据深度信息重建屏幕像素在世界中的坐标

谈起深度信息，我第一个反应就是陈嘉栋大大写的# 神奇的深度图：复杂的效果，不复杂的原理，最近看到SSAO技术里面也会用到深度信息，去重建屏幕上像素在世界空间下的坐标，阅读相关代码时看到重建这个信息的代码很简单：

float depthTextureValue = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv);
//自己操作深度的时候，需要注意Reverse_Z的情况
#if defined(UNITY_REVERSED_Z)
    depthTextureValue = 1 - depthTextureValue;
#endif
float4 ndc = float4(i.uv.x * 2 - 1, i.uv.y * 2 - 1, depthTextureValue * 2 - 1, 1);
float4 worldPos = mul(_InverseVPMatrix, ndc);
worldPos /= worldPos.w;

就是采样深度图，将得到的数据对应到[-1,1]之间（坐标是在这个区间），然后乘以一个的逆矩阵，最后除以就好了。那么，这到底怎么来的，这篇博客就来推导下。

首先对于这个问题，我们有哪些已知信息，这是很重要的。现在已知屏幕上的像素坐标（用或者表达都行），深度信息也是已知的，矩阵已知则其逆矩阵也已知。到此，我们尝试推导下能不能重建世界坐标。

已知：，

下的现在已知，那么我们只需要知道就能知道像素所对应的剪裁空间坐标，那么得到世界空间坐标就易如反掌了。

现在问题来了，根据上面的已知条件，似乎没法知道是多少啊。。。

这里其实我们已知的信息除了上面所说外，还有一个很重要的信息，就是世界空间坐标下。有了这个以后，我们就能继续推导了。

已知：，

那么：
=>
=> (式子1)

到了式子1这一步，世界空间下的功能就要发挥出来了。

已知：

那么：

为什么会这样呢？是个标量，是个，有四个分量，其中的分量乘以是1，以对应世界空间下，所以有了式子1。

所以：

现在知道了，将它代入式子1就可以算出世界坐标了。

最终：

现在代码中的为什么要这么写就应该很清楚了。

2020.11.26更新
上面的方法虽然直观，但涉及到矩阵运算，效率上会有些影响。那么有没有不涉及矩阵运算也能得出世界坐标的方法呢？有！具体代码如下

float depth = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, UnityStereoScreenSpaceUVAdjust(i.uv, _CameraDepthTexture_ST));
float3 wp = _WorldSpaceCameraPos.xyz + i.ray * Linear01Depth(depth);

我们需要一个相机在世界坐标下的位置，深度信息，以及射线信息就能得出世界坐标了。那么有人要问了，深度信息我知道，可以从深度图中获取，相机信息引擎也提供，那么这个射线信息是什么鬼呢？还有为什么这样可以得出世界坐标呢？
我们先来解决一个问题，上面这个式子怎么来的。根据Secrets of CryENGINE 3 Graphics Technology这个PPT来看，我们可以这么来理解。

上面是PPT中的原图，下面我自己手绘了一下二维版的，这样理解起来就相对容易。

作为摄像机，为远剪裁面，前面那条竖线是近剪裁面（忘记标记名字了= =），我们需要算出点的位置，那么容易得到（为向量，即为我们想要计算的世界坐标），现在该怎么计算呢？我们知道，如果将深度限制在空间中时，，所以上面代码在使用深度时使用Linear01Depth将深度转换到空间下。并且由相似三角形定理得，现在，那么，即为空间的深度，那么。现在问题转化为怎么求，而这个代表着摄像机到屏幕上每个像素的射线。针对屏幕后处理来说，我们实际上只是在渲染一个Quad，那么我们只需要通过摄像头上的一些参数，将摄像机屏幕上的四个顶点计算出来，然后利用光栅化的插值功能，即可得到我们想要的射线了。

C#计算四个顶点的代码为

        cam = GetComponent();
        cam.depthTextureMode |= DepthTextureMode.Depth;
        camTrans = cam.transform;

        Matrix4x4 frustumCornors = Matrix4x4.identity;
        float fov = cam.fieldOfView;
        float near = cam.nearClipPlane;
        float far = cam.farClipPlane;
        float aspect = cam.aspect;

        float fovWHalf = fov * 0.5f;

        Vector3 toRight = camTrans.right * near * Mathf.Tan (fovWHalf * Mathf.Deg2Rad) * aspect;
        Vector3 toTop = camTrans.up * near * Mathf.Tan (fovWHalf * Mathf.Deg2Rad);

        Vector3 topLeft = (camTrans.forward * near - toRight + toTop);
        float camScale = topLeft.magnitude * far/near;

        topLeft.Normalize();
        topLeft *= camScale;

        Vector3 topRight = (camTrans.forward * near + toRight + toTop);
        topRight.Normalize();
        topRight *= camScale;

        Vector3 bottomRight = (camTrans.forward * near + toRight - toTop);
        bottomRight.Normalize();
        bottomRight *= camScale;

        Vector3 bottomLeft = (camTrans.forward * near - toRight - toTop);
        bottomLeft.Normalize();
        bottomLeft *= camScale;

        frustumCornors.SetRow(0, bottomLeft);
        frustumCornors.SetRow(1, bottomRight);
        frustumCornors.SetRow(2, topRight);
        frustumCornors.SetRow(3, topLeft);

        mat.SetMatrix("_Ray", frustumCornors);

Shader这边只要这样处理就行了

SubShader {
        ZWrite Off 
        ZTest Always 
        Cull Off
        Pass {
            CGPROGRAM
            #pragma vertex vert
            #pragma fragment frag
           
            #include "UnityCG.cginc"
            struct appdata {
                float4 vertex : POSITION;
                float2 uv : TEXCOORD0;
            };
            struct v2f {
                float4 vertex : SV_POSITION;
                float2 uv : TEXCOORD0;
                float3 ray : TEXCOORD1;
            };
            
            v2f vert (appdata v) {
                v2f o;
                o.vertex = UnityObjectToClipPos(v.vertex);
                o.uv = TRANSFORM_TEX(v.uv,_MainTex);
                o.uvDepth = v.uvDepth;

            
                int index = 0;
                if (v.uv.x < 0.5 && v.uv.y < 0.5){
                    index = 0;
                }else if (v.uv.x > 0.5 && v.uv.y < 0.5){
                    index = 1;
                }else if (v.uv.x > 0.5 && v.uv.y > 0.5){
                    index = 2;
                }else{
                    index = 3;
                }
             

                o.ray = _Ray[index].xyz;
                return o;
            }
            fixed4 frag (v2f i) : SV_Target {
                float depth = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, UnityStereoScreenSpaceUVAdjust(i.uv, _CameraDepthTexture_ST));
                float3 wp = _WorldSpaceCameraPos.xyz + i.ray * Linear01Depth(depth);

                return fixed4(wp,1.0);
            }
            ENDCG
        }
    }

参考
Unity Shader 深度值重建世界坐标
Unity Shader-深度相关知识总结与效果实现（LinearDepth，Reverse Z，世界坐标重建，软粒子，高度雾，运动模糊，扫描线效果）
How to go from device coordinates back to worldspace in OpenGL (with explanation)