卷积神经网络中的权值共享和局部连接

卷积神经网络中的权值共享和局部连接

  • 卷积神经网络的两大特点
    • 权值共享
    • 全连接

卷积神经网络的两大特点

权值共享,就是输入一张图,用一个filter去扫这张图,filter里面的数就叫权重,这张图每个位置都是被同样的filter扫的,所以权重是一样的,也就是共享

权值共享

一维的情况,使用相同的权值向量来做卷积
卷积神经网络中的权值共享和局部连接_第1张图片
卷积神经网络中的权值共享和局部连接_第2张图片

二维情况示意图
卷积神经网络中的权值共享和局部连接_第3张图片
一个m* m的卷积核在图像上扫描,进行特征提取,如图,是3* 3的卷积核,如果channels为k的话,那么总参数量为m* m* k

不进行参数共享
卷积神经网络中的权值共享和局部连接_第4张图片
卷积核的参数数量为W(width)*H(height)*K(kernel)

全连接

卷积神经网络中的权值共享和局部连接_第5张图片
此时参数量W(width)*H(height)*n(hidden node)
参数量巨大

例如,InceptionV3的输入图像尺寸是192* 192的,如果把第一层 3* 3* 32的卷积核去掉参数共享,参数数目会变成192* 192* 32,约120万个参数,是原来288个参数的4096倍

参考链接:
【1】如何理解卷积神经网络中的权值共享? - Serendipity的回答 - 知乎
https://www.zhihu.com/question/47158818/answer/1499528063

【2】如何理解卷积神经网络中的权值共享? - superbrother的回答 - 知乎
https://www.zhihu.com/question/47158818/answer/670431317

你可能感兴趣的:(深度学习,cnn,深度学习,计算机视觉)