超分数据集概述和超分经典网络模型总结

文章目录

前言

一、常用数据集概述

二、经典网络模型总结

---

前言

参考论文：A Review of Single Image Super-Resolution Reconstruction Based on Deep Learning

---

一、常用数据集概述

        现有的数据集主要分为两种类型

1、只采集HR图像的数据集，如DIV2K，DIV8K等数据集，对于此类数据集可采用不同的退化方式获取相应的LR图像，从而构造匹配的LR-HR训练图像对，以这种方式获得的训练数据集一般被称为合成数据集。

2、直接采集同一场景不同分辨率的图像，从而获取LR-HR图像对的数据集，如RealSR，DRealSR等数据集，这类训练数据集一般被称为真实数据集。

相较于合成数据集，真实数据集通常具有更真实的退化过程，适用于真实场景图像的超分辨率重建. 但真实数据集的构建存在一定难度，如真实数据集直接采集到的LR-HR图像对通常是不匹配的，需要进行严格的配准操作才能得到具有相同视场且可用于训练的LR-HR图像对，且真实世界图像的退化核会随着景深的变化而变化，通常是不均匀的，往往需要根据实际情况采取不同的策略再进行超分辨率重建。

图像超分辨率重建常用数据集概述

数据集名称	图像数量/张	合成/真实数据集（训练集/验证集/测试集）	图像格式	图像内容
T91	91	合成数据集（训练集）	PNG	包括动植物、人、车等局部纹理图像
Timofte	110	合成数据集（训练集）	PNG	包括T91，Set15和Set14三个数据集的图像
291-images	291	合成数据集（训练集）	PNG，JPG	包括T91和BSD两个数据集的图像
General-100	100	合成数据集（训练集）	BMP	包括建筑纹理、动植物、人、食物、日用品等图像
MSCOCO	328 000	合成数据集（训练集）	JPG	包括91种易识别物体类型在自然环境中的复杂日常场景的图像
ImageNet	3200 000	合成数据集（训练集）	JPG	包括动植物、交通工具、家具、乐器、地质构造、工具等图像
DIV2K	1 000	合成数据集（800张训练集、100张验证集、100张测试集）	PNG	包括人、手工艺品、环境（城市、村庄）、动植物、自然风景等图像
Flickr2K	2650	合成数据集（训练集）	PNG	包括人、车、动植物、食物、建筑和风景等图像
DF2K	3450	合成数据集（训练集）	PNG	包括DIV2K和Flickr2K两个数据集的图像
DPED	5827	真实数据集（5614张训练集、113张验证集、100张测试集）	PNG	包括各种道路交通场景（建筑、植物、道路等）等图像
OutdoorScene(OST)	10624	合成数据集（10324张数据集、300张测试集，即OST300）	PNG	包括动物、建筑、草、山、植物、天空和水等7类纹理丰富的图像
DIV8K	1504	真实数据集（1304张训练集、100张验证集、100张测试集）	PNG	包括人、动物、建筑和风景等各种场景和物体的图像
RealSR	595	真实数据集（550张训练集、45张测试集）	PNG	包括建筑、风景、动植物、海报、物体等纹理丰富的室内外场景图像
DRealSR	88（x2） 78（x3） 84（x4）	真实数据集（对于尺度因子2，3，4分别用83，84，93张图像进行测试，其余用于训练）	PNG	包括广告海报、植物、办公室、建筑物、等室内外场景的图像
Set5	5	合成数据集（测试集）	PNG	包括婴儿、鸟、蝴蝶、头部和女士等5张图像
Set14	14	合成数据集（测试集）	PNG	包括动植物、风景（船和桥）、PPT和人等图像
Berkeley Segmentation Dataset(BSD)/BSD500	500	合成数据及（测试集）	PNG	包括动物、建筑、食物、风景、人和植物等图像，BSD100和BSD300分别是BSD500中常用的100或300张图片
Urban100	100	合成数据集（测试集）	PNG	包括不同类型的建筑图像
Manga109	109	合成数据集（测试集）	PNG	包括来自日本漫画书的图像
PIRM	200	合成数据集（100张验证集、100张测试集）	PNG	包括人、物、环境、植物、自然风景等图像
DIV2KRK	100	合成数据集（测试集）	PNG	包括对DIV2K验证集的100张图像进行更复杂退化操作的图像
DIV2K4D	400	合成数据集（测试集）	PNG	包括对100张DIV2K验证集采取四种退化的图像

二、经典网络模型总结

LR图像获取方式：Bi⁃cubic表示双三次下采样，B表示模糊核，GB表示高斯模糊核，N表示噪声，GN表示高斯噪声，J表示JPEG压缩. 由于数据增强能够扩大数据容量，减少迭代次数，并在一定程度上提升网络性能，所以许多网络模型常通过随机翻转、旋转和缩放等操作对数据集进行数据增强.

基于深度学习的单帧图像超分辨率重建典型网络模型总结

网络名称--发表时间（类型）	网络框架（上采样方法）	训练集	LR图像获取方式	数据增强	测试集	损失函数	评价指标
SRCNN--2014（基于S-CNN）	预上采样（双三次插值）	91-images，ImageNet	Bicubic+GB	——	Set5，Set14	L2	PSNR，SSIM，runtime
FSRCNN--2016（基于S-CNN）	后上采样（反卷积）	91-images，General-100	下采样	缩放、旋转	Set5，Set14，BSD200	L2	PSNR，SSIM，IFC，runtime
ESPCN--2016（基于S-CNN）	后上采样（亚像素卷积）	ImageNet	下采样+GB	——	91-images，Set5，Set14，BSD300，BSD500，super texture	L2	PSNR，runtime
VDSR--2016（基于ResNet）	预上采样（双三次插值）	291-images	下采样	旋转、翻转	Set5，Set14，Urban100，B100	L2	PSNR，SSIM，runtime
RED-Net--2016（基于ResNet）	预上采样（双三次插值）	BSD300	下采样	旋转、翻转	Set5，Set14，BSD100	L2	PSNR，SSIM
DRCN--2016（基于RNN）	预上采样（双三次插值）	91-images	下采样	——	Set5，Set14，B100，Urban100	L2	PSNR，SSIM
LapSRN--2017（基于ResNet）	渐进式上采样（转置卷积）	291-images	Bicubic	翻转、旋转	Set5，Set14，B100，Urban100，DIV2K	LCharbonnier	PSNR，SSIM，IFC
EDSR--2017（基于ResNet）	后上采样（亚像素卷积）	DIV2K	Bicubic	翻转、旋转	Set5，Set14，B100，Urban100，DIV2K	L1	PSNR，SSIM
DRRN--2017（基于RNN）	预上采样（双三次插值）	291-images	下采样	翻转、旋转	Set5，Set14，BSD100，Urban100	L2	PSNR，SSIM，IFC
SRDenseNet--2017（基于DenseNet）	后上采样（反卷积）	ImageNet	Bicubic	——	Set5，Set14，B100，Urban100	L2	PSNR，SSIM
MemNet--2017（基于DenseNet）	预上采样（双三次插值）	291-images	Bicubic	翻转、旋转	Set5，Set14，BSD100，Urban100	L2	PSNR，SSIM
SRGAN--2017（基于GAN）	后上采样（亚像素卷积）	ImageNet	Bicubic	——	Set5，Set14，BSD100	Lpercep，LGAN	PSNR，SSIM，MOS
EnhanceNet--2017（基于GAN）	后上采样（最近邻插值）	MSCOCO	Bicubic	——	Set5，Set14，BSD100，Urban100	Lpercep，LGAN，Ltexture	PSNR，SSIM，IFC，MOS
DBPN--2018（基于ResNet）	迭代式上下采样（反卷积）	DIV2K，Flickr2K，ImageNet	Bicubic	——	Set5，Set14，BSDS100，Urban100，Manga109	L2	PSNR，SSIM
MSRN--2018（基于ResNet）	后上采样（亚像素卷积）	DIV2K	Bicubic	缩放、旋转、翻转	Set5，Set14，B100，Urban100，Manga109	L1	PSNR，SSIM
RCAN--2018（基于AM）	后上采样（亚像素卷积）	DIV2K	①Bicubic ②模糊下采样	旋转、翻转	Set5，Set14，B100，Urban100，Manga109	L1	PSNR，SSIM
ESRGAN--2018（基于GAN）	后上采样（最近邻插值）	DIV2K，Flickr2K，OST	Bicubic	翻转、旋转	Set5，Set14，BSD100，Urban100，PIRM	Lpercep，LGAN，L1	PSNR，PI
LP-KPN--2019（基于ResNet）	渐进式上采样（shuffle upsample）	RealSR	——	旋转、翻转	RealSR	L2	PSNR，SSIM
SRFBN--2019（基于RNN）	后上采样（反卷积）	DIV2K，Flickr2K	①Bicubic ②下采样+GB ③Bicubic+GN	翻转、旋转	Set5，Set14，B100，Urban100，Manga109	L1	PSNR，SSIM
Meta-SR--2019（基于DenseNet）	后上采样（元上采样）	DIV2K	下采样	翻转、旋转	Set14,B100,Manga109,DIV2K	L1	PSNR，SSIM
SAN--2019（基于AM）	后上采样（亚像素卷积）	DIV2K	①Bicubic ②模糊下采样	旋转、翻转	Set5，Set14，BSD100，Urban100，Manga109	L1	PSNR，SSIM
DAN--2020（基于ResNet）	后上采样（亚像素卷积）	DIV2K，Flickr2K	①GB+下采样 ②GB（旋转、噪声、归一化）+下采样	——	①Set5，Set14，Urban100，BSD100，Manga109 ②DIV2KRK	L1	PSNR，SSIM
HDRN--2020（基于DenseNet）	后上采样（亚像素卷积）	DIV2K	Bicubic	翻转、旋转	Set5，Set14，BSD100，Urban100，Manga109，Jilin-1 satellite imagery， Kaggle	LCharbonnier	PSNR，SSIM
CDC-2020（基于AM）	渐进式上采样（亚像素卷积）	RealSR，DRealSR	——	——	RealSR，DRealSR	LGW(L1)	PSNR,SSIM,LPIPS
RealSR--2020（无监督式）	后上采样（最近邻插值）	①DF2K ②DPED	无监督式 退化模型	——	①DF2K ②DPED	L1，Lpercep，LGAN	①PSNR，SSIM，LPIPS ②MOR
RFB-ESRGAN--2020（基于GAN）	后上采样（交替使用最近邻插值和亚像素卷积）	DIV8K，DIV2K，Flickr2K，OST	Bicubic	翻转、旋转	DIV8K	L1，LVGG，LGAN	PSNR，SSIM，LPIPS，PI
CRN--2021（基于ResNet）	后上采样（亚像素卷积）	DIV2K	Bicubic	——	Set5，Set14，B100，Urban100	L1	PSNR，SSIM
SMSR--2021（基于LN）	后上采样（亚像素卷积+双三次插值）	DIV2K	下采样	旋转、翻转	Set5，Set14，B100，Urban100，Manga109	L1,Lreg	PSNR，SSIM，Params，FlOPS
BSRGAN--2021（基于GAN）	后上采样（最近邻插值）	DIV2K，Flickr2K，WED，FFHQ	B+下采样+N	——	①合成的DIV2K4D， ②真实的RealSRSet	L1，Lpercep，LPatchGAN	①PSNR，LPIPS ②NIQE，NRQM，PI
Real-ESRGAN--2021（基于GAN）	后上采样（最近邻插值）	DIV2K，Flickr2K，OST	Bicubic+B+N+J	——	RealSR，DRealSR，OST300，DPED，ADE20K	L1，Lpercep，LGAN	视觉效果
IPT--2021（基于Transformer）	——	ImageNet	Bicubic	——	Set5，Set14，B100，Urban100	L1，Lcontrastive	PSNR
SwinIR--2021（基于Transformer）	后上采样（亚像素卷积）	DIV2K，Flickr2K	①Bicubic ②B+下采样+N	——	Set5，Set14，Urban100，BSD100，Manga109	①L1 ②L1，LGAN，Lpercep	PSNR，SSIM，Params，Mult-Adds