Specular Aliasing与Specular Leaking

最近做高质量实时HDR PBR渲染中碰到了2个关键问题,若干思考如下:

问题1: 极高的动态范围HDR+高级BRDF+相对较低的采样率(比方说不考虑子像素的原始分辨率),在这3项因素的综合作用下,Specular Aliasing基本上不可避免。这已经不是存不存在Specular Aliasing的问题,而是如何去面对、何时面对的问题。模型精度越高、工作流越倾向于全PBR方式、光照计算精确程度越高,则反射高光走样越明显。

问题2: 另外还有个麻烦,就是在不引入前期baking机制的前提下使用IBL,会不可避免地导致occlusion信息缺失,从而产生异样的反射高光。occlusion是个挺麻烦的topic,无论是用SH+PRT、还是用Soft Shadows+AO,总是会产生这样那样的问题;曾一度尝试采用ScreenSpace Ray Marching的方式来动态生成occlusion,但感觉上这种做法产生的visibility是低质量的,且带来的性能损耗也不小。而且,在HDR+高级BRDF的环境使得因visibility缺失而导致漏光这个问题更加雪上加霜。

上面这2个问题呈现出来的异常现状是类似的,那就是异常的反射高光,但它们却是由于不同的原因所导致的,因此,在改善上述问题之前,首先必须对其进行合理的区分,后继改善方具备针对性。

先说第一个问题,从已有手段来看,基于屏幕空间的AA是实践中克服Specular Aliasing的最主要手段之一。Toksvig、LEAN、CLEAN等关注于优化Normalmap mipmap filter的做法并不是首选,因为它们不仅要大规模修改法线贴图资源,而且其理论依据中适用的BRDF也只是Blinn-phong这种大路货,效果不显著不说,而且还缺乏后期人为调整的灵活性,本质上来说,属于前期手段而非后期手段,调节手段与最终效果之间拉得太长,所以最终效果要是出了问题就会很麻烦,因此直接弃用。而使用FXAA、MLAA、TXAA等AA技术来解决这个问题的好处则在于,其把所有specular aliasing的问题集中在一个后处理环节上加以彻底解决,而且解决的程度(模糊一点?锐利一点?是否需要留一点aliasing以体现细节?等等)还可以灵活控制,这是基于贴图的反高光走样技术做不到的。AA有自己独到的优势,其工作在LDR空间,而不是HDR空间,本身就是基于人眼感知能力所进行的直接优化,因此不仅灵活,而且简单粗暴、直接有效。另外值得一提的还有超采样AA,作为一个简单的box filtering,实践证明,如果其运行在linear空间下,是不足以压制HDR PBR环境下的反射高光走样的,因为HDR+PBR BRDF导致的像素照度差异实在是太BT了,但还是能够带来部分的改善,尤其是跟其他基于LDR 的屏幕空间AA技术结合使用的情况下,细节与高光走样改善极佳,唯一缺陷就是对性能的负面影响太大。此外,还有一个因素,就是模型精度问题,良好的模型预处理(如法线计算、顶点拆分/合并、tangent/bi-tangent计算等)是解决高光走样的基础前提,因为法线是反射高光的决定性因素之一,这个基础前提达不到,后面的AA、贴图filter等效果均不会达到良好的效果。最后,提一提物理正确的问题,保持物理正确是一种情结,但是,Specular Aliasing这一问题其实本质上源于采样不足,而HDR+PBR光照计算以极其夸张的方式使得这一问题变得更加恶化,直至效果无法让人接受,所以,在采样数量达不到与HDR反射高光(高频detail)相匹配的惊人程度时(甚至HDR SSAAx8/x16都不够,在实时计算环境下无限制拔高采样率在性能方面几乎是无法接受的),Specular Aliasing在物理正确的光照计算框架范围内是无法解决的,因此,我们只能by all means,包括像AA这种非物理正确的后处理方式,实践证明这是有效的,所以此处实际上是有选择的暂时扬弃了“物理正确”原则,以获得有效的处理效果,但我想强调的是,这是合符情理的。

然后再说第二个问题,针对occlusion信息缺失所导致的漏光,在实时+准GI场合(如游戏等)下,目前业界真正提出来的简单、有效的办法并不多,基本上只有基于AO信息的specular occlusion比较实用,尽管这种直接利用ambient occlusion因子来推导得出高光遮蔽因子so的方式并不物理正确,本质上只是个hack,且其效果不仅取决于AO质量、同时也取决于模型质量(因为模型质量能在一定程度上决定AO质量),但简单易行,性能代价也极低,聊胜于无,如果采用tri-Ace那种以视觉效果为导向的光照分量合成hack,用下来也能起到不错的改善效果。除此之外,还有一类方法,就是基于SH/H3等球谐基的baking方法,比如1886,在baking阶段把visibility因子用QMC方式求取出来然后存入顶点或贴图,用于在运行时进行动态occlusion query,这种高大上的预处理手段当然效果是最好、最精确的,但工作代价也是最大的,需要工作流的全面配套梳理;最后,还有一类方法,就是基于sphere set approximation等proxy的occlusion近似计算方法,比如last of us,这种方法在相对低动态范围的画面环境下,也能够得到不错的阴影遮蔽效果。此外,还有一些宣称用Visibility预计算+烘焙相结合能搞得定的系统级方案,如enlighten等,但因不知其技术细节,所以仍有待进一步评判。总体而言,考虑到Specular Leaking的实质问题在于为提升实时渲染效率而引入的遮蔽与光照分离,在存在预计算手段或者是不那么计较计算代价的前提下,其是有可能以近似物理正确的方式加以解决的,这个是其与Specular Aliasing的一个关键差异。

综上,一通思考下来,上述两个问题,其实都是目前物理真实向实时渲染管线的系统性问题,暂时都还没有一劳永逸的golden standard,只能应地制宜,根据情况灵活调整,本质上还是取决于经验与权衡。实际上,从经验来看,严格来讲,高光走样与漏光几乎涉及到pipeline的几乎每一个环节的细节,从贴图-模型处理、到AO/SO质量、到HDR pipleine平衡性、到PostFX、再到AA质量,每一个环节均需小心应对最终方可有效减轻。此篇blog,是为一阶段性小结。

你可能感兴趣的:(alias)