语义分割模型LinkNet介绍

LinkNet是2017年CVPR上的一篇论文（论文地址：https://arxiv.org/abs/1707.03718）。由于网上的论文笔记以及讲解不是很清晰，因此决定下载论文自己阅读一下，若有理解错误的地方还请大家指正。

模型提出的背景

作者认为当时的模研究主要都是集中在提高模型的精度上，而忽略了模型的效率。在实时语义分割上的研究工作不多。作者提出的LinkNet在提高速度的同时又保证了精度。

网络结构

网络的结构借鉴了U-Net的思想。采用了Encoder-Decoder结构，模型左边是Encoder，右边是Decoder。作者认为当时的语义分割算法大部分都以ResNet101,VGG16等作为Encoder，这样导致了非常大的参数量。所以作者选择采用ResNet18作为Encoder。作者认为它们提出的模型（LinkNet)的创新之处便是在Encoder与Decoder的连接方式上。通过Encoder的多次下采样后，一些空间信息损失了，而且在Decoder部分很难恢复这些损失的空间信息。像FCN那样通过池化索引（pooling indices）来连接Encoder与Decoder的缺点是这些池化索引时不可训练的（untrainable)。而有些方法则是直接将Encoder的输出输入到Decoder。在本文中作者不仅将Encoder的输出作为Deocder的输入，还将Encoder的输入作为送入到Decoder。

Fig.2中展示了每个Endcoder Block中采用的残差结构，TABLE 1 为Encoder Blocks的输入输出特征图数量。

Fig.3是每个Decoder块的详细结构。full-conv[(3,3),(m/4,m/4),*2）中（3，3）为卷积核大小，（m/4,m/4) 为输入特征图通道数与输出特征图通道数。*2代表上采样因子为2。

实验结果

结论

1. 轻量化： 采用了Resnet18作为Encoder
2. 实时分割，目的是运行在移动设备上
3. 运行速度块

GitHub代码链接

pytroch版: https://github.com/e-lab/pytorch-linknet