飞桨图像分割7日打卡训练营学习笔记

课程介绍

        顶会论文审稿人亲自授课，从基础理论到前沿技术，配套5次实战打卡，带你入门到精通，7日攻克图像分割。从经典算法到学界前沿，从技术细节到完整流程，语义分割、实例分割、全景分割，带你逐个击破。

 图像语义分割基本上是这个套路：

1. 下采样+上采样：Convlution + Deconvlution／Resize
2. 多尺度特征融合：特征逐点相加／特征channel维度拼接
3. 获得像素级别的segement map：对每一个像素点进行判断类别

DAY1

图像分割综述,语义分割初探

按分割目的划分

1. 普通分割:将不同分属不同物体的像素区域分开。 如前景与后景分割开，狗的区域与猫的区域与背景分割开。

2. 语义分割:在普通分割的基础上，分类出每一块区域的语义（即这块区域是什么物体）。 如把画面中的所有物体都指出它们各自的类别。

3. 实例分割:在语义分割的基础上，给每个物体编号。 如这个是该画面中的猫A，那个是画面中的猫B。

DAY2

FCN全卷积网络结构详解

整体的网络结构分为两个部分：全卷积部分和反卷积部分。其中全卷积部分借用了一些经典的CNN网络（如AlexNet，VGG，GoogLeNet等），并把最后的全连接层换成卷积，用于提取特征，形成热点图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。

DAY3

U-Net模型与PSPNet模型详解

整个U-Net网络结构，类似于一个大大的U字母：首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出388x388x2的feature map，最后经过softmax获得output segment map。总体来说与FCN思路非常类似。

DAY4

Dilated Conv，ASPP，DeepLab系列详解

1. Dilated/Atrous Convolution(中文叫做空洞卷积或者膨胀卷积) 或者是 Convolution with holes 从字面上就很好理解，是在标准的 convolution map 里注入空洞，以此来增加 reception field。相比原来的正常convolution，dilated convolution 多了一个 hyper-parameter 称之为 dilation rate 指的是kernel的间隔数量(e.g. 正常的 convolution 是 dilatation rate 1)。
2. 空洞空间卷积池化金字塔(atrous spatial pyramid pooling (ASPP))对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文。
3. Deeplab 是谷歌在FCN的基础上搞出来的。FCN为了得到一个更加dense的score map，将一张500x500的输入图像，直接在第一个卷积层上conv1_1加了一个100的padding，最终在fc7层勉强得到一个16x16的score map。Deeplab这里使用了一个非常优雅的做法：将VGG网络的pool4和pool5层的stride由原来的2改为了1，再加上 1 padding。就是这样一个改动，使得vgg网络总的stride由原来的32变成8，进而使得在输入图像为514x514时，fc7能得到67x67的score map, 要比FCN确实要dense很多很多。这样的话尺寸就缩小为原本的8倍，但是这样的话之后节点的感受野就会发生变化。

DAY5

深入解析GCN（图卷积网络）

GCN的本质目的就是用来提取拓扑图的空间特征。 而图卷积神经网络主要有两类，一类是基于空间域或顶点域vertex domain(spatial domain)的，另一类则是基于频域或谱域spectral domain的。通俗点解释，空域可以类比到直接在图片的像素点上进行卷积，而频域可以类比到对图片进行傅里叶变换后，再进行卷积。所谓的两类其实就是从两个不同的角度理解，关于从空间角度的理解可以看本文的从空间角度理解GCN。

DAY6

实例分割与全景分割概述

1. 2.实例分割：Mask R-CNN和SOLO
2. 3.全景分割：PanapticFPN和UPSNet

DAY7

1.主流分割数据集介绍
2.最近研究进展探讨
3.课程总结与Q&A

学习心得

        通过这次学习对图像分割有基本的认识和了解，可以使用开源的库来实现某种算法，从而解决问题。非常感谢百度研发老师的详细讲解图像分割的相关网络，现场逐行coding代码，比较通俗易懂。非常感谢百度研发老师的详细讲解图像分割的相关网络，现场逐行coding代码，比较通俗易懂。对图像分割有了很好的入门，百度提供的AI Studio平台和飞桨（PaddlePaddle）用于图像分割非常方便，效率很高。 课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1767。干货满满，学到很多。