Week1

U-Net

Abstract

更有效的利用了数据，用很少的数据就能做出精确的分割

Introduction

为了定位，将高分辨率的下采样层的特征图与上采样中的特征图融合，因此后面的卷积层能够得到更精确的输出
一个很重要的修改是上采样中也有很多的特征通道，能够让网络把上下文信息传递到更高的分辨率层
整个网络没有全连接层，分割图是像素级的，通过overlap-tile的方法将图像边缘镜像可以对输入的图像完全分割
通过对图像变形扩充数据集
对相邻细胞边界的loss加比较大的权重
skip-connection减少下采样的数据损耗

Architecture

总共有四步下采样四步上采样，每经过一步下采样特征通道数加倍，每经过一步上采样特征通道数减半，每一步卷积操作都是两个33的卷积加relu，在最后用了一个11的卷积将包含64个元素的特征向量转换成最后的分类结果

unet

U-Net是否越深越好？
对不同的数据集，浅层深层特征的重要性是不同的，因此将1-4层unet叠加到一起，并且encoder特征处理器只需要一个

1-4的unet

但这个网络是不能训练的，因此提出了可训练的unet++，结合长连接和短连接

unet++

各个level的子网络加了深监督，可以剪枝，训练时用完整的，测试时用剪枝后的
通过验证集确定是否剪枝、剪枝多少

FlowNet

用CNN解决光流估计，光流估计要学习特征表示+位置匹配，提出两个结构：generic architecture FlowNetSimple/correlate FlowNetCorr

Flownet

在解码细化的过程中，对每层的反卷积ReLU层，不仅输入前一层的输出，同时还输入前一层预测的低尺度的光流和对应编码模块中的特征层。这样使得每一层反卷积层在细化时，不仅可以获得深层的抽象信息，同时还可以获得浅层的具象信息，以弥补因特征空间尺度的缩小而损失的信息。

image.png

由于数据集不足用了flying chairs，加入的correlation layer效果不明显
FlowNetCorr：先分别提取特征，在进行结合，让f1的每一个patch和f2的每一个patch比较，即进行卷积操作，但这样两幅图像两个patch的卷积是没有可训练参数的

计算时，每个patch都计算计算量过大，加入了范围，只计算x1附近某区域的x2，且x1,x2都有一定的stride，最终得到的结果是wxhxD^2
Expanding part：最重要的部分是upconvolutional，包括unpooling和convolution，concatenate it with feature map from contractive part and upsampled coarser flow prediction if available，只进行四次，之后bilinear upsampling，因为继续做效果提升不大

Variational refinement替换最后的bilinear upsampling

FlowNet2.0

contribution:
1.we focus on the training data and show that the schedule of presenting data during training is very important.
2.we develop a stacked architecture that includes warping of the second image with intermediate optical flow.
3.we elaborate on small displacements by introducing a subnetwork specializing on small motions

FlowNet2.0

Introduction
多个数据集的效果好
引入了warping operation
Small motion focus network

Dataset Schedules
训练中数据集的顺序也有影响，先用chairs再用things3D效果较好
FlowNetC效果优于FlowNetS

Stacking networks
第一个network输入为I1I2，随后的network输入为I1I2和previous flow estimate，其中I2与flow融合，第一个network训练好后，单独训练第二个network，第一个network参数已经fix了，以防止过拟合
第一个network称为bootstrap，第二个network可以重复任意次，但用不同的weights，可以一点一点的训练，对每一个新的network都用chairs+things3D训练

Small Displacement
换用小的卷积核取消步长，最后fusion

非监督的光流预测

image.png