论文笔记：（CVPR 2022）Local Texture Estimator for Implicit Representation Function

Local Texture Estimator for Implicit Representation Function （CVPR 2022）

Paper：https://link.zhihu.com/?target=https%3A//ipl.dgist.ac.kr/LTE_cvpr.pdf
Code:https://link.zhihu.com/?target=https%3A//github.com/jaewon-lee-b/lte

直接从知乎摸过来了网址就不改了。内容也不想整了，主要就是弄一下Problem Formulation部分，这一部分有很多公式和符号，所以干脆就手写了。有些符号大小写、正体斜体没有刻意区分，如果看的比较吃力请对照原文阅读。

Abstract

最近有关隐式神经函数的工作以任意分辨率表示图像。然而，一个独立的多层感知器在学习高频分量方面表现有限。在本文中，我们提出了一种局部纹理估计器(LTE)，这是一种自然图像的主频率估计器，使隐函数在连续重建图像的同时捕捉细节。当与深度超分辨率(SR)架构联合训练时，LTE能够在二维傅里叶空间中表征图像纹理。我们展示了一个基于lte的神经函数在任意尺度因子下对现有的深度SR方法取得了良好的性能。此外，我们还演示了与以前的工作相比，我们的实现花费的运行时间最短。

Introduction

现有方法需要对每个尺度储存相应的模型结构和参数。只使用一个模型进行尺度不限的超分辨率是很有前途的。MLP在其他方法上很成功。LIIF已经使用了坐标MLP来做尺度不限的SR。MLP方法的限制是趋向于学习低频信息，很难捕获良好的细节。这是由于光谱偏差的现象，可以通过输入坐标位置编码或者Sin周期激活函数缓解。作者提出了使用Local Texture Estimator（LTE）与SR模型联合训练，LTE可以提取高分辨图像中的主要纹理信息（或者叫主要傅里叶频率成分和系数）。

• 我们指出，基于LTE的深度SR网络能够估计自然图像的主导频率和对应的傅立叶系数。
• 我们展示了一个隐式表示函数的任意分辨率优先学习高频细节时，基本傅里叶信息估计LTE。
• 我们研究了我们的LTE在几种内存设置下的计算时间，并证明了我们的方法比以前的工作更快。（这种逐点式的方法应该比较慢才对，这个方法现在是相比与LIIF和MetaSR快，调整算法使用并行运算应该也可以达到两位ms的速度）

Conclusion

本文提出了一种局部纹理估计方法(LTE)，以克服隐式神经函数的频谱偏差问题。本文提出的基于LTE的任意尺度SR方法由三部分组成:(1)深度SR编码器(2)LTE(3)隐式表示函数。首先，深度SR编码器提取与LR图像高度和宽度相同的特征映射。然后，LTE从编码器中提取特征图，并利用相应的傅里叶系数估计自然图像的主导频率。进一步提供了尺度相关的相位和LR跳过连接，以允许LTE在学习高频纹理中有偏差。最后，隐函数利用估计的傅里叶信息重建任意分辨率的图像。我们证明了基于LTE的神经函数在性能和视觉质量上优于其他任意尺度的SR方法，且计算时间最短。