神经网络学习小记录29——特征金字塔-Feature Pyramid Networks(FPN)

神经网络学习小记录29——特征金字塔-Feature Pyramid Networks(FPN)

  • 学习前言
  • 什么是特征金字塔
  • 引入FPN的网络结构举例

学习前言

很多文章里面写道特征金字塔这个结构,其实这个结构Very-Easy。
在这里插入图片描述

什么是特征金字塔

目标检测任务和语义分割任务里面常常需要检测小目标,但是小目标比较小呀,可能在原图里面只有几十个像素点。就像这个样子。
神经网络学习小记录29——特征金字塔-Feature Pyramid Networks(FPN)_第1张图片
我不检测这个猫,我就检测这一片片落叶,是不是每个落叶所占的像素点特别少呢。

答案肯定是的。

最关键的问题就是,像素点少会对目标检测有什么影响!

我这里没有严密的数学推导,就从思想上来说,对于深度卷积网络,从一个特征层卷积到另一个特征层,无论步长是1还是2还是更多,卷积核都要遍布整个图片进行卷积,大的目标所占的像素点比小目多,所以大的目标被经过卷积核的次数远比小的目标多,所以在下一个特征层里,会更多的反应大目标的特点。

特别是在步长大于等于2的情况下,大目标的特点更容易得到保留,小目标的特征点容易被跳过。

因此,经过很多层的卷积之后,小目标的特点会越来越少,越小越小。

特征金字塔所做的其实就是下面这幅图。
神经网络学习小记录29——特征金字塔-Feature Pyramid Networks(FPN)_第2张图片
这个结构与语义分割中的unet结构非常像,其对特征点进行不断的下采样后,拥有了一堆具有高语义内容的特征层,然后重新进行上采样,使得特征层的长宽重新变大,用大size的feature map去检测小目标,当然不可以简单只上采样,因为这样上采样的结果对小目标的特征与信息也不明确了,因此我们可以将下采样中,与上采样中长宽相同的特征层进行堆叠,这样可以保证小目标的特征与信息。

引入FPN的网络结构举例

这是yolo3的网络结构,利用DarkNet53来进行特征提取,总共利用下采样进行五次长宽的收缩。利用上采样进行三次长宽的扩张,在每次扩张之后,再与对应的下采样特征层进行合并堆叠,最后获得目标检测结果!
神经网络学习小记录29——特征金字塔-Feature Pyramid Networks(FPN)_第3张图片

你可能感兴趣的:(神经网络学习小记录)