AMD FSR技术在UE4移动端可用的研究（一）——介绍以及安装

1. 介绍

AMD FidelityFX Super Resolution （FSR） 采用先进的优化升级技术，能够在无需用户升级显卡的情况下帮助提高部分游戏的帧率，带来高质量、高分辨率的游戏体验。

FSR适用于包括集成显卡在内的各种新旧产品，并针对基于 AMD RDNA™ 和 AMD RDNA 2™ 架构的 Radeon™ RX 6000 和 RX 5000 系列显卡进行了优化。部分 NVIDIA® 显卡也支持 FSR。

FSR提出了四种不同的质量模式：Ultra Quality，Quality，Balanced，Performance。

原理概述

FidelityFX Super Resolution 是一种空间放大器：它的工作原理是获取当前抗锯齿帧，并将其放大到显示分辨率，而不依赖于其他数据，例如帧历史或运动矢量。

FSR的核心是一种尖端算法，可从源图像中检测和重建高分辨率边缘。这些高分辨率边缘是将当前帧转换为**“超分辨率”图像**所需的关键元素。

无论帧是否在运动，FSR都能提供一致的升频质量，与其他类型的升频器相比，这可以提供质量优势。

FSR由两个主要pass组成：

• 一种称为EASU（边缘自适应空间上采样）的放大通道，它也执行边缘重建。在这个过程中，输入帧被分析，算法的主要部分从一组输入像素中检测梯度反转——本质上是查看相邻梯度的不同。梯度反转的强度定义了以显示分辨率应用于重建像素的权重。
  

• 一种称为RCAS（稳健对比度自适应锐化）的锐化通道，可提取放大图像中的像素细节。

  集成位置

  FidelityFX Super Resolution Pass在感知色彩空间中效果最佳，因此应在色调映射后进行整合。将噪声或其他高频视觉组件引入场景的通道应在放大后渲染，以避免这些噪声组件被放大。
  
  

技术应用前提

• 图片应该进行过良好的抗锯齿，例如：TAA、MSAA。

• 输入图像应该归一化到$[0-1]$，然后应该在感知空间，例如：sRGB。

• 图像应该是noisy free（无噪声的？）

• 使用负的MIP bias，来增加图像细节，来生成图像

UE4使用

可以通过命令启用或禁用： r.FidelityFX.FSR.PrimaryUpscale.（现在好像是Enable了）

UpScaling的强度可以用这条命令来调整： r.ScreenPercentage。 有如下选项：

• Ultra Quality : r.ScreenPercentage 77
  
  产生的超级分辨率图像与原始渲染几乎没有区别，当图像的保真度非常重要时，应选择该选项。

• Quality : r.ScreenPercentage 67
  
  产生一个超级分辨率的图像，具有最小的伪影和可观的性能提升。

• Balanced : r.ScreenPercentage 59
  
  产生的超分辨率图像接近原生渲染，偶尔会有伪影，但性能提升非常大。

• Performance : r.ScreenPercentage 50
  
  在某些条件下可能会有明显的伪影，应该在对性能要求很高的情况下选择。

FidelityFX Super Resolution 1.0包含一个内置的锐化通道，叫做RCAS，可以通过命令行r.FidelityFX.FSR.RCAS进行配置，并且默认是启用。 如果你的项目已经集成了FidelityFX-CAS，请确保在FidelityFX Super Resolution 1.0启用时完全禁用FidelityFX CAS —— 包括任何游戏中的菜单选项。 这将防止你的最终渲染过度锐化，并改善整合结果。

FidelityFX Super Resolution 1.0有许多额外的命令行，可以帮助满足您的项目需求。

CVar	Default Value	Valid Values	Details
r.FidelityFX.FSR.SecondaryUpscale	0	0, 1	启用FSR1作为二级upscaler，允许与时域的一级upscaler进行混合。
r.FidelityFX.FSR.UseFP16	1	0, 1	启用半精度浮点运算，在不出现可见伪影的情况下，提高性能。
r.FidelityFX.FSR.EnableFP16OnNvDX11	0	0, 1	我们的测试显示，某些型号的NVIDIA GPU在运行DirectX 11和FSR着色器的FP16变体时可能无法产生正确的结果。如果这个问题在未来得到解决，那么你可以使用r.FidelityFX.FSR.EnableFP16OnNvDX11来重新启用这些GPU上的16位版本FSR的使用。
r.FidelityFX.FSR.MipBias.Method	1	0, 1, 2	对材质纹理施加负的MipBias，改善效果：    0: Disabled    1: Automatic : -log2(screen%)    2: Manual : Use r.FidelityFX.FSR.MipBias.Offset
r.FidelityFX.FSR.MipBias.Offset	0.0	[-2.0, 0.0]	在以下情况下应用的MipBias值： r.FidelityFX.FSR.MipBias.Method = 2
r.FidelityFX.FSR.RCAS.Enabled	1	0, 1	强劲的对比度自适应锐化滤波器。 在upscaling完成后对图像进行锐化。
r.FidelityFX.FSR.RCAS.Sharpness	0.2	[0.0, inf)	RCAS锐度调整. Check out CAS for examples!    0.0: sharpest    1.0: 1/2 as sharp    2.0: 1/4 as sharp    3.0: 1/8 as sharp    etc…
r.FidelityFX.FSR.RCAS.Denoise	0	0, 1	RCAS去噪。
r.FidelityFX.FSR.HDR.PQDitherAmount	1.0	[0.0, 1.0]	HDR-Only 用于PQ->Gamma2转换的抖动量，当输出设备为ST2084/PQ时，减少色带。
r.FidelityFX.FSR.Post.FilmGrain	1	0, 1	在后期处理链中应用UE4 FilmGrain效果，以避免与FidelityFX Super Resolution 1.0冲突。
r.FidelityFX.FSR.Post.ExperimentalChromaticAberration	0	0, 1	Be careful! This feature is Experimental, and may produce undesirable results in some situations! 在后期处理链中应用ChromaticAberration效果，以避免与FidelityFX Super Resolution 1.0冲突。
r.FidelityFX.FSR.Debug.ForcePS	0	0, 1	如果启用，在VS-PS管道中运行FSR、RCAS和Post-FFX ChromaticAberration通道，而不是CS。

2. 安装

目前，AMD官方是提供了两个方式来在UE4引擎中适配FSR，第一个方式是打补丁的方式——git apply XXX.patch——仅支持4.26版本。第二个方式是插件，支持4.27及以上版本（可以在插件中搜到FSR了）。

4.26版本

首先，进入这个官网地址：https://gpuopen.com/unreal-engine/。然后下载补丁包：

下载完成后，进行解压，我们将.patch文件放在你下载的UE4 4.26 release源码的根目录中（或者你项目引擎源代码的根目录中）

源码版下载，直接参考：https://zhuanlan.zhihu.com/p/107516361

官网下载的源码，或者你项目源码，应该都是用git进行管理，我这里就默认这一点了。然后在根目录中输入如下git命令来适配补丁包：

git apply --whitespace=warn FSR1-UE4.26.1-Patch-RC2.patch

然后重新编译引擎。

4.27版本

首先进入官方网站：https://gpuopen.com/learn/ue4-fsr//。下载压缩包：

将该压缩包移动到引擎源码的Engine\Plugins\Runtime目录，解压文件到当前目录。打开你编译好的引擎，然后进入Edit > Plugins，启用FSR插件：

关闭引擎，重新编译引擎。打开引擎，用命令行启用FSR，成功。

和4.26不同，启用命令是r.FidelityFX.FSR.Enabled

笔记(2)将介绍如何在4.27中让移动端可以使用FSR，笔记(3)则是介绍4.26的适配。敬请期待。