论文笔记:(CVPR 2022)Local Texture Estimator for Implicit Representation Function

Local Texture Estimator for Implicit Representation Function (CVPR 2022)

Paper:https://link.zhihu.com/?target=https%3A//ipl.dgist.ac.kr/LTE_cvpr.pdf
Code:https://link.zhihu.com/?target=https%3A//github.com/jaewon-lee-b/lte

直接从知乎摸过来了网址就不改了。内容也不想整了,主要就是弄一下Problem Formulation部分,这一部分有很多公式和符号,所以干脆就手写了。有些符号大小写、正体斜体没有刻意区分,如果看的比较吃力请对照原文阅读。

Abstract

最近有关隐式神经函数的工作以任意分辨率表示图像。然而,一个独立的多层感知器在学习高频分量方面表现有限。在本文中,我们提出了一种局部纹理估计器(LTE),这是一种自然图像的主频率估计器,使隐函数在连续重建图像的同时捕捉细节。当与深度超分辨率(SR)架构联合训练时,LTE能够在二维傅里叶空间中表征图像纹理。我们展示了一个基于lte的神经函数在任意尺度因子下对现有的深度SR方法取得了良好的性能。此外,我们还演示了与以前的工作相比,我们的实现花费的运行时间最短。

Introduction

现有方法需要对每个尺度储存相应的模型结构和参数。只使用一个模型进行尺度不限的超分辨率是很有前途的。MLP在其他方法上很成功。LIIF已经使用了坐标MLP来做尺度不限的SR。MLP方法的限制是趋向于学习低频信息,很难捕获良好的细节。这是由于光谱偏差的现象,可以通过输入坐标位置编码或者Sin周期激活函数缓解。作者提出了使用Local Texture Estimator(LTE)与SR模型联合训练,LTE可以提取高分辨图像中的主要纹理信息(或者叫主要傅里叶频率成分和系数)。

  • 我们指出,基于LTE的深度SR网络能够估计自然图像的主导频率和对应的傅立叶系数。
  • 我们展示了一个隐式表示函数的任意分辨率优先学习高频细节时,基本傅里叶信息估计LTE。
  • 我们研究了我们的LTE在几种内存设置下的计算时间,并证明了我们的方法比以前的工作更快。(这种逐点式的方法应该比较慢才对,这个方法现在是相比与LIIF和MetaSR快,调整算法使用并行运算应该也可以达到两位ms的速度)

论文笔记:(CVPR 2022)Local Texture Estimator for Implicit Representation Function_第1张图片
论文笔记:(CVPR 2022)Local Texture Estimator for Implicit Representation Function_第2张图片
论文笔记:(CVPR 2022)Local Texture Estimator for Implicit Representation Function_第3张图片

Conclusion

本文提出了一种局部纹理估计方法(LTE),以克服隐式神经函数的频谱偏差问题。本文提出的基于LTE的任意尺度SR方法由三部分组成:(1)深度SR编码器(2)LTE(3)隐式表示函数。首先,深度SR编码器提取与LR图像高度和宽度相同的特征映射。然后,LTE从编码器中提取特征图,并利用相应的傅里叶系数估计自然图像的主导频率。进一步提供了尺度相关的相位和LR跳过连接,以允许LTE在学习高频纹理中有偏差。最后,隐函数利用估计的傅里叶信息重建任意分辨率的图像。我们证明了基于LTE的神经函数在性能和视觉质量上优于其他任意尺度的SR方法,且计算时间最短。

你可能感兴趣的:(论文阅读,python,人工智能,计算机视觉)