CV综述图像超分辨率整理---目录

图像任务

---

图像增强之SR任务

视频任务之SR任务

OCR任务

CV综述OCR任务—目录

图像分类

构建我的classification框架记录

目标检测

参考CV综述目标检测整理—目录

图像分割

参考CV综述图像分割整理—目录

---

正文： 图像增强之SR任务

---

学习SR

文档：

<数码变焦算法研究及实现.pdf>

参考博客:

• 视频图像的超分辨率技术原理和应用场景
• 一键提升多媒体内容质量：漫谈图像超分辨率技术
• 图像超分辨率技术-简介
• 深度学习在图像超分辨率重建中的应用

典型应用

• 图像复原
• 数码变焦
• 节省带宽
• 监控
• 医学诊断

常见挑战

• 图像超分辨率问题是一个病态问题，对于同样一张低分辨率图像，往往存在多张可行的高分辨率图像.

比赛/数据集

• DIV2K

---

经典SR方法

---

插值法

SRCNN:

FSRCNN:

VDSR首次提出了残差学习的网络结构:

参考
论文:
源码:
特点:

• 这种做法在降低了模型的推理速度的同时也大大增加了内存的开销

EPSCN:

参考
论文:
源码:
特点:

• 首次提出了子像素卷积操作，在网络的最后才将学习得到的特征进一步放大到目标大小，大大提升了模型的训练效率

SRResNet 残差模块:

EDSR:

参考
SRResNet与EDSR
论文:
源码:
特点:

• EDSR在结构上与SRResNet相比，就是把批规范化处理(batch normalization, BN)操作给去掉了
• residual scaling使训练过程更加稳定，在每个residual block的最后一个卷积层后添加一个constant scaling layer

SCNSR: [多尺度卷积与WDSR相结合]

基于稀疏编码网络的方法(Sparse coding based network，SCN)

参考
图像超分：SCN
基于深度学习的图像超分辨率方法 总结
EDSR阅读笔记
论文:
源码:

• pytorch : https://github.com/thstkdgus35/EDSR-PyTorch.git

特点:

• 作者提出将尺度不变引入到图像复原框架中以进一步提升图像复原性能。
• 作者通过实验验证了所提多尺度卷积在图像复原（图像超分、图像去噪、压缩伪影移除）任务中的优异性能
• L1 Loss : 根据LapSRN的思想采用了L1范数来计算对应的误差，L2损失会导致模糊的预测

CrossNet:提出了基于光流估计的模型结构

---

SR part

faster-RCNN/YOLO/SSD

CTPN (2016): Connectionist Text Proposal Network

论文: Detecting Text in Natural Image with Connectionist Text Proposal Network@2016
源码:
参考博客:
OCR技术（CTPN，SegLink，EAST文本检测）

特点:

• connect proposals
• Side-refinement
• 检测小框代替直接检测大文本框
• 对于非水平的文本的检测效果并不好

EAST 2017 : An Efficient and Accurate Scene Text Detector

论文: EAST: An Efficient and Accurate Scene Text Detector@20170710
源码: argman/EAST --tensorflow /flask
参考博客:
OCR文本检测模型—EAST
PVANET算法笔记

• less channels with more layers
• 论文：PVANET: Deep but Lightweight Neural Networks for
  Real-time Object Detection
  @20160930

特点:

• 提出了基于two-stage的文本检测方法：全卷积网络(FCN)和非极大值抑制(NMS)
• 在检测长文本时的效果比较差，这主要是由于网络的感受野不够大；
• 在检测曲线文本时，效果不是很理想

PSENET：progressive scale expansion algorithm

论文: Shape Robust Text Detection with Progressive Scale Expansion Network
源码:
tensorflow_PSENet
参考博客:
psenet解读
PSENet原理介绍

特点:

• psenet作为一种基于分割的方法
• psenet的检测速度稍慢

DB: Real-time Scene Text Detection with Differentiable Binarization

论文: Real-time Scene Text Detection with Differentiable Binarization
源码:

参考博客:
《DB：Real-time Scene Text Detection with Differentiable Binarization》论文笔记

特点:

---

视频帧插值

CRNN == CNN +RNN +CTC

论文: An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition @20150721
源码: meijieru/crnn.pytorch
特点:

• 每次都要计算概率，速度慢
• end to end识别

参考博客
CRNN算法详解

基于ａｔｔｅｎｔｉｏｎ文字识别

attention_ocr