《弱监督/半监督的DCNN图像分割》笔记

《Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation》笔记

  • 学习笔记,如有谬误,还请不吝赐教!
    • 解决的问题以及方法
    • 分类标签
      • EM-Fixed
      • EM-Adapt
    • Boundingbox标签
      • Bbox-Rect
      • Bbox-Seg
      • Bbox-EM-Fixed
    • 后记

Semantic Image Segmentation》笔记)

学习笔记,如有谬误,还请不吝赐教!

解决的问题以及方法

这篇文章提出的方法可以用分类标签或者boundingbox标签来做弱监督的分割,糅合上强监督的分割,就是半监督的算法。这里重点了解半监督算法。

分类标签

我觉得这篇文章最亮点的地方就在这里了(然而最后效果并不理想,还是抱了boundingbox的大腿,但boundingbox的方法就很一般了…),只有分类标签,怎么监督学习分割图像呢?这里提出的思想就是分割图像是分类结果的隐变量,这样就可以套EM算法学习分割图像。
《弱监督/半监督的DCNN图像分割》笔记_第1张图片
先说符号表示
《弱监督/半监督的DCNN图像分割》笔记_第2张图片

联合分布:
《弱监督/半监督的DCNN图像分割》笔记_第3张图片
这个公式我想了半天,觉得这里最后一项之所以不是P(z|x,y)是因为z作为标签,本来就是根据x来的,所以z其实就是z|x,这里就直接省略了。或者说这就是一个马尔科夫过程,大家条件独立。不知道这样想对不对…

先给他EM算法的流程:
《弱监督/半监督的DCNN图像分割》笔记_第4张图片
这里应该就是按住 θ \theta θ更新y和按住y更新 θ \theta θ,下面解释为什么这么更新…

然后懵逼的就来了…
在这里插入图片描述
求和项我可以理解成交叉熵,要调整 θ \theta θ使得两者靠近,最后一项我可以理解成EM算法按住y调整 θ \theta θ求极大似然估计,但你中间这个约等于是什么意思啊… 为啥啊… 就因为大家做的都是向 y ^ \hat{y} y^靠拢么?

这一步应该是按住 θ \theta θ更新y
《弱监督/半监督的DCNN图像分割》笔记_第5张图片
f就是DCNN

那么问题就来了,P(z|y)是什么鬼呢?文章给了两种计算方法。

EM-Fixed

《弱监督/半监督的DCNN图像分割》笔记_第6张图片
《弱监督/半监督的DCNN图像分割》笔记_第7张图片
所以就是设置一个(好吧 其实是俩)超参…

EM-Adapt

对不起… 真的看不懂了… 突然就给了三篇引用,我就******(╯‵□′)╯︵┻━┻,我选择狗带…
《弱监督/半监督的DCNN图像分割》笔记_第8张图片

Boundingbox标签

《弱监督/半监督的DCNN图像分割》笔记_第9张图片
一路糊弄… 我就来到了这里… 啊… 好像知道为什么自己是学渣了…
whatever~ 这里讲了… 三种方法!!!(╯‵□′)╯︵┻━┻(算了,不骂人了…),一个一个看吧…

Bbox-Rect

把boundingbox里面的像素都标记成前景(这tm还用你说!!!),多个物体重叠部分就把这一部分分给区域较小的那个(也是有够简单粗暴的…)

Bbox-Seg

为了把boundingbox中的背景踢出去,这里用了和Deeplab相同的CRF来分离前景背景还做了点修改(不好意思,不知道CRF是什么… 自然不知道他在改什么… 我想死…)其实就是CRF+boundingbox得到分割图像呗…

Bbox-EM-Fixed

说的应该就是把boundingbox和分类标签的方法结合起来,只在boundingbox内提高前景的score(就是那个bl吧)但具体咋操作我也不太想得出来… 行了 就酱紫了!附一段原文…
《弱监督/半监督的DCNN图像分割》笔记_第10张图片

后记

我可能不适合学习=_=!

你可能感兴趣的:(学习笔记)