渲染 光栅化 光线追踪 着色器 投影视图模型矩阵 未来VR关键技术

 

渲染介绍得非常详细易懂（强烈建议观看）：https://www.zhihu.com/question/31971846/answer/36727962

https://www.zhihu.com/question/29163054/answer/296309838

 

 

渲染管线（Pipeline）:

1渲染的过程中显卡执行的、从几何体到最终渲染图像的、数据传输处理计算的过程。

2 or 光栅化(rasterization) / 光线追踪(ray tracing)      

3 or 三维物体投影到二维屏幕

4 or 把你的3D坐标转换为2D坐标+把2D坐标转变为实际的有颜色的像素。

 

 

光栅化：三维物体-摄像机-投影屏交汇点

光线追踪：摄像机-遍历投影屏各个像素点-三维物体

递归光线追踪：摄像机-遍历投影屏各个像素点-三维物体-反射/折射-反射/折射-...

 

这里可以和我之前的OPGNGL小记联系便于理解：https://blog.csdn.net/qq_24854861/article/details/82590084

顶点着色器：输入一种三维数据，自身坐标系放入世界坐标系（模型矩阵）/世界坐标系转为摄像机坐标系（视图矩阵），输出另一种三维数据

图元装配：输入一组顶点着色器，设定顶点组合的类型，点，线，三角，输出一组顶点着色器=一个图元

几何着色器：（可选着色器阶段）输入一个图元，创造新顶点，重新图元装配，输出一个或以上的新图元。例子：两个顶点输入顶点着色器，图元装配类型为线，输入一个线图元到几何着色器，创造一个新点，和另外两点重新图元装配为三角类型，输出一个三角图元。

光栅化阶段/光线追踪：所有图元（三维）映射到二维屏幕上（投影矩阵）

片段着色器：二维屏幕像素点上色

裁剪：超出二维屏幕部分不投影/映射，省去上色

（注：这张图好像是我理解有偏差，但不想删掉，就留着把。正确的理解：图片就是渲染后的格式，图片有三种方式获得，1摄像机直接从现实世界拍摄得来，某种意义上是不是也可以说是摄像机从现实三维世界渲染得来的；2凭空建模就一个三维虚拟世界，然后在虚拟世界中选定摄像机位置/人眼位置和二维屏幕位置，然后渲染得到图片，即二位屏幕上的图像；3现实世界和虚拟世界共同渲染出一张图片。所以上述的全景视频也好，普通视频也好，视频里的每一帧就是渲染后图片，至于图片传输过来，经过立方体映射，贴图，这贴图是二维的，但在计算机里面这贴图是存在于三维世界坐标系系，经过模型矩阵，投影矩阵，试图矩阵各种变换，渲染到二维显示屏。所以这里涉及两个渲染过程，先渲染得到图片，然后再以这图片为模型，存于计算机内部世界坐标系，最后又这图片渲染出另一图片供显示。这里的渲染主要强调三维投影到二维，其实还附带其他处理，比如计算光场，光线追踪，调整颜色，图像扭曲移动选装等...）

未来VR关键技术

https://blog.csdn.net/xiangz_csdn/article/details/78773959

目前市面上所有的 VR 或 AR 设备都将用户的视觉焦点强制在 1.5 米远的位置
基于此提出 计算型显示器：
1计算型光场显示器：通过多角度的光线展示，可以让你在任何深度进行聚焦。这个显示器是对以往技术的一次重要突破，因为计算过程是直接在显示器中进行的。我们不是向显示器中传输单纯的图像，我们正在向其中发送复杂的数据，而显示器则负责将数据直接转化为你眼前的图像。必须进行专门的渲染才能传输进显示器，这需要结合了自定义光学，即通过一个微透镜阵列，才能以正确的方式呈现出一个自然的世界。
2计算型激光显示器：我们通过一个小马达来移动全息图或太阳镜反射器，从而控制图像的距离。这样我们就可以将虚拟物体的距离和用户现实世界的视距匹配起来，用户在使用 VR 时就可以自然而完美地聚焦。这种方法要求在显示器中进行两种计算：一是要追踪用户的眼动状态，二是要计算正确的光学变化来渲染预扭曲的动态图像。
3计算型变焦显示器：这是一个灵活的透镜薄膜。我们根据用户焦点的变化，使用计算机控制的气动装置来改变透镜的焦距，使得图像始终处在正确的位置。

混合云渲染：一个功能强大的 GPU 就可以计算出光照信息，接着传输给你身上的 Tegra，渲染出最后的图像。这种方法的好处在于，既减少了延迟，又降低了算力要求，同时还提高了实际图像的质量。

目前VR关键技术

渲染算法：
1焦点渲染（ Foveated Rendering）：降低用户的周边视觉中的图像质量，提升中心视角中的图像质量
2光场（Light Fields）：光场可以产出场景中所有表面的反射和阴影
3实时光线跟踪（Real-time Ray Tracing）
4实时路径追踪（Real-time Path Tracing）= 递归实时光线追踪？

现代 VR 解决延迟的关键技术叫做“时间扭曲（Time Warp）”。在这种方法中，屏幕图像的更新可以不经过完整的图形管线。用户头部的追踪数据可以直接进入渲染完成后的 GPU 阶段。因为该阶段更“接近”显示器，所以它可以扭曲已经渲染过的图像以匹配最新的头部追踪数据，而不需要穿过整个渲染管线。在一些预测头部运动的技术配合下，延迟可以被降低到 50ms 甚至是 0。