实时分割网络（理论+代码——持续更新）

实时性本质：牺牲精度换取效率

问题1：实时与经典分割算法区别

（1）为什么提出实时性？
目前在深度学习领域,算法设计可分为两个派别 一派为学院派,研究强大复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定高效的落地在硬件平台上,效率是其追求的目标复杂的模型固然具有更好的性能,但是高额的存储空间计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。（学院派以论文为导向，工程派以生产为导向）
（2）经典分割与实时分割
经典分割代表算法 ：FCN、U-Net、DeepLab系列、RefineNet等
经典网络不考虑分割效率，只关注分割的准确度。因此，对于一些实时的分割任务来说，以上网络的可用性并不高。由于网络参数较大，对硬件的要求也很高，且会耗费大量时间
实时分割代表算法：ENet、LinkNet、BiSeNet、DFA等
随着分割任务存在的问题被逐个击破，一些网络开始关注分割模型的效率，力求将其用于嵌入式设备或实时的分割任务中。这些网络在保证分割准确性不会过低的前提下，尽可能的减少参数，压缩模型。因此，实时网络对硬件设备的要求不高且省时
（3）实时分割核心思想
替换主网络、减少通道数、减少卷积层、将卷积层替换为组卷积层或其他能减少计算量的卷积操作、增加前期数据处理、减少复杂融合方式、避免使用全连接
（4）实时性网络评价参数
1.ms：毫秒数
2.fps：画面每秒传输帧数，通俗来讲就是指动画或视频的画面数
3.FLOPs：每秒执行的浮点数运算次数（1. FLOPS：全大写，是floating point ope rations per second的缩写，意指每秒浮点运算次数，可以理解为计算速度。是一个衡量硬件性能的指标2. FLOPs：s小写，是floating point operations的缩写（s表复数），意指浮点运算数，可以理解为计算量。用来衡量算法或模型的复杂度 3. GFLOPs：1GFLOPs = 109FLOPs（10亿次））
4.Parameters：模型参数
5.Model size：模型大小

模型1：ENet（未完）

摘要概述

Ø 背景介绍：实时执行像素级语义分割的能力在移动应用程序中至关重要。最近的DCNN网络的缺点在于需要大量浮点运算，运行时间长，阻碍了语义分割的可用性
Ø 算法组成：提出了ENet，专门针对需要低延迟操作的任务
Ø 文章亮点：ENet与现存模型相比，速度提升了18倍，FLOPs减少了75倍，参数减少了79倍，并能保证不错的准确度
Ø 模型评估：在CamVid、Cityscapes和SUN RGBD数据集中均得到了不错的成绩

引言概述

1. 可穿戴增强现实、家用自动化设备、自动驾驶这些应用都对能够在移动设备上实时运作的低功耗语义分割（或视觉场景理解）产生了大量的需求
2. 像SegNet和FCN，这些网络虽然能够实现端到端的稠密像素分割，但是它们都是基于庞大的网
   络结构VGG16设计的，无法在大多数电池供电的移动设备上运作（要求达到10fps以上）
3. 本文中提出了一个专为快速、高准确率推理设计的神经网络结构,本文工作中，选择不应用任何后处理步骤
   

相关工作概述

1. 语义分割对于理解图像内容和查找目标物体非常重要，这项技术在诸如辅助驾驶、现实增强等应用领域中是最重要的
2. 目前主流的神经网络结构都由两部分组成：编码器和解码器。但是这些方法由于网络结构复杂、参数众多，推理过程比较慢
3. 其他现存结构使用更简单的分类器，然后用CRF作为后处理。如SegNet论文中提到的，这些方法需要繁重的后处理，且经常对那些在一帧中占据更少像素点个数的类别分类失败。尽管这可以通过结合CNN来实现精度的提升，但是这样做会导致速度的下降。另外，值得注意的是，RNN是可以作为后处理结合进任何一种方法的，包括本文提出的方法

模型2：LinkNet（未完）

摘要概述

Ø 背景介绍：用于场景理解的像素级语义分割不仅需要准确度，还要保证高效性，才能应用在实时应用程序中
Ø 现有算法：现有算法虽然比较准确，但参数和计算量都比较庞大，因此速度很慢
Ø 本文算法：本文提出了一种新的DCNN网络，该体系结构使其无需增加大量参数即可进行学习
Ø 模型评估：在CamVid和Cityscapes数据集中均得到了不错的成绩

好文摘读

Here the encoders information into feature space,and the decoder maps this information into spatial categorization to perform sementation.

引言概述

相关工作概述

模型3：BiSeNet（未完）

模型4：DFANet（未完）

模型5：RedNet（未完）

模型6：RDFNet（未完）