总结CNN的发展历程,以及一些卷积操作的变形,附带基础的深度学习知识与公式

1.Lenet-5  :最先出现的卷积神经网络,1998年,由于当时的硬件还不成熟,因此到了2012年出现了AlexNet

2.AlexNet:可以说是现在卷积神经网络的雏形

3.VGGNet:五个模块的卷积叠加,网络结构如下:

 

总结CNN的发展历程,以及一些卷积操作的变形,附带基础的深度学习知识与公式_第1张图片

4.GoogleNet:inception v1,v2,v3, xception,基本思想就是对feature map用不同的卷积核filter进行卷积,然后concact,其中xception是对每个通道的feature map进行3×3的卷积,叫做通道分离卷积。

5.ResNet:分为building block,bottleneck都是叫做残差块,应为都有跳远连接,网络结构如下,主要也是五个大的模块:

总结CNN的发展历程,以及一些卷积操作的变形,附带基础的深度学习知识与公式_第2张图片

6.DenseNet:主要思想是当前卷积层的输出feature map都要concact上一层的卷积输出,主要网络图如下:

总结CNN的发展历程,以及一些卷积操作的变形,附带基础的深度学习知识与公式_第3张图片

7.一些好用的卷积操作:

1×1filter又叫通道卷积,可以实现bottleneck,改变通道数 。

3×3卷积,一般经典网络的卷积核大小,卷积前后图像大小保持不变,通道数翻倍,但一般会紧接着有池化操作,使得图像大小缩小为原来的1/2。

上采样:FCN网络中提到的上采样思想是先padding再卷积,或者先上池化再卷积。而FPN中的上采样是bilinear上采样。

通道concact:inception网络中的思想,让网络变胖

跳远连接:ResNet网络中的思想,让网络变长

随机分组卷积:对feature map的channel随机分组再进行卷积,ShuffleNet思想

通道加权卷积:SEnet的思想

空洞卷积:dilated conv,一个卷积点周围填0,让卷积变大,视野更广

网络多尺度的理解:不同的卷积核大小看到的图片的视野不一样

Label Smoothing Regularization(LSR):是一种通过在输出y中添加噪声,实现对模型进行约束,降低模型过拟合(overfitting)程度的一种约束方法(regularization methed)。

ohem:ohem论文中提到的loss函数

focal loss:focal loss论文中提到的loss函数

softmax:

总结CNN的发展历程,以及一些卷积操作的变形,附带基础的深度学习知识与公式_第4张图片

softmaxloss(cross entropy):

总结CNN的发展历程,以及一些卷积操作的变形,附带基础的深度学习知识与公式_第5张图片

sigmoid:

sigmoid

 

 

 

 

你可能感兴趣的:(AI,CNN,ML,计算机视觉,深度学习)