论文阅读:《The Devil is in the Decoder 》

今天实验室服务器又挂了,水了一天。因为是周末,想放松放松,就翻了翻堆积的感兴趣的论文,挑了一篇简单的看看。

这篇文章的语句非常顺畅,读起来没有昨晚那篇论文的便秘之感, 十分清晰地总结了常见的 upsampling layer的方法。两个小标题:skip connectionresidual connection 让我有正本清源之感。我一直有个问题residual network FCN,Unet 中的跨层连接有什么区别呢? 这篇文章没有解答我的问题,但是这篇文章的作者显然,至少曾经跟我考虑过同一个问题,不像一个师兄随便说了一句“都是跨层连接,没啥好想的”来打发我。这俩肯定不一样啊,虽然从图上看起来是一样的,但是一个是值的加和,一个是 channel维度的concatenate。 作者提出了在upsampling layer中增加 resdiual connection的一个方法(非常简单,没有引入额外参数,见图),提高了模型性能(提升有限)。

论文阅读:《The Devil is in the Decoder 》_第1张图片

The Devil is in the Decoder .png

你可能感兴趣的:(论文阅读:《The Devil is in the Decoder 》)