Depthwise 卷积 ,Pointwise 卷积与普通卷积的区别
分类专栏: 深度学习 文章标签: 深度学习 人工智能 计算机视觉 cnn
版权
原理:普通卷积是,一个卷积核与input的所有通道都进行卷积,然后不同通道相同位置卷积后的结果再相加,如下图所示,:⾸先,每个通道内对应位置元素相乘再相加,最后计算所有通道的总和作为最终结果。卷积核的Channel通道数等于Input输⼊的通道数,Output输出的通道数等于卷积核的个数。
2 Depthwise 卷积
原理:Depthwise 卷积的一个卷积核只负责一个通道,一个卷积核只与一个通道卷积。那么卷积核数需要与输入的通道数相等,输出的通道数也不变,等于输入的通道数,等于卷积核数。所以depthwise卷积只改变特征图的大小,不改变通道数。但这种运算对输入层的每个通道独立进行卷积运算 ,没有有效的利用不同通道在相同空间位置上的feature信息。
depthwise卷积,只改变feature map的大小,不改变通道数。
3 Pointwise卷积
Pointwise Convolution的运算与常规卷积运算相似,它的卷积核的尺寸为 1×1×M,M为上一层的通道数。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合 ,生成新的Feature map。有几个卷积核就有几个输出Feature map。
Pointwise卷积,不改变feature map的大小,只改变通道数。
4 Depthwise separable convolution(深度可分离卷积)
深度可分离卷积depthwise separable convolution,由depthwise(DW)和pointwise(PW)结合起来组成。相比常规的卷积操作,其参数数量和运算成本比较低 。轻量化模型中常用,例如MobileNet
文章知识点与官方知识档案匹配,可进一步学习相关知识
OpenCV技能树 OpenCV中的深度学习 图像分类 11821 人正在系统学习中
3D视觉工坊
11-20 3272
原文首发于微信公众号「3D视觉工坊」—— Point Conv:基于3D点云的深度 卷积 网络
本文出自知乎:
https://zhuanlan.zhihu.com/p/69597887?utm_source=wechat_session&utm_medium=social&utm_oi=1135649954939883520
原文:
Point Conv: Deep Convol…
各种 卷积 层的理解(深度可分离 卷积 、分组 卷积 、扩张 卷积 、反 卷积 )
热门推荐
gwpscut的博客
05-06 5万+
最近在研究 卷积 网络的改性,有必要对各种 卷积 层的结构深入熟悉一下。为此写下这篇学习笔记。
文章大部分内容来自于网络的各种博客总结,本博文仅仅作为本人学习笔记,不做商业用途。
目录
2D卷积
3D卷积
1*1卷积
空间可分离卷积 (separable convolution)
深度可分离卷积 (depth wise separable convolution)
分组卷积 (Group conv…
Depth wise 卷积 与 Point wise 卷积 _干巴他爹的博客_d wise 卷积
Depth wise (DW) 卷积 与 Point wise (PW) 卷积 ,合起来被称作 Depth wise Separable Convolution(参见Google的Xception),该结构和常规 卷积 操作类似,可用来提取特征,但相比于常规 卷积 操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如...
卷积 网络基础知识--- Depth wise Convolution && Point wise Convolution...
Depth wise (DW) 卷积 与 Point wise (PW) 卷积 ,合起来被称作 Depth wise Separable Convolution(参见Google的Xception), 卷积 神经网络在图像处理具备强大的提取特征的能力,相比全连接又消耗更少的参数,不过受限于移动端设备的硬件条件,仍然达不到运算量的...
Depth wise Separable Convolution详解
04-07 1万+
转载自 常规 卷积 运算 假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个Filter的 卷积 层,最终输出4个Feature Map,且尺寸与输入层相同。整个过程可以用下图来概括。
此时,卷积 层共4个Filter,每个Filter包含了3个Kernel,每个Kernel的大小为3×3。因此卷积 层的参数数量可以用如下公式来计算: N_std = 4 × 3 × 3 × 3 = 10…
Depth wise 卷积 与 Point wise 卷积
杨杨子江的博客
10-24 380
Depth wise (DW) 卷积 与 Point wise (PW) 卷积 ,合起来被称作 Depth wise Separable Convolution(参见Google的Xception),该结构和常规 卷积 操作类似,可用来提取特征,但相比于常规 卷积 操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。 常规 卷积 操作 对于一张5×5像素、三通道彩色输入图片(shape为5×5×...
【 卷积 】Conv与 Depth wise Seperable Conv_阑珊珊珊的博客
卷积 ,本质上是矩阵点乘和加法。 如下图所示,输入为蓝色部分即7x7的矩阵, 卷积 核为蓝色阴影部分即3x3的矩阵。 卷积 计算即在输入中依次选取和 卷积 核大小相等的矩阵,与 卷积 核依次进行矩阵点乘(对应位置进行相乘,并将结果累和),最后再加一个...
depth wise convolution/深度可分离 卷积 _NCU_wander的博客_dept...
Depth wise Convolution完成后的Feature map数量与输入层的 depth 相同,但是这种运算仅仅对输入层的每个channel独立进行 卷积 运算,只能考虑到层之间不同感受野内的关系,没有利用不同feature map在相同空间位置上的信息。因此需要增加另外一步操作来...
Group Convolution分组 卷积 ,以及 Depth wise Convolution和Global Depth wise Convolution
日拱一卒
01-09 7049
博客:blog.shinelee.me | 博客园 | CSDN Group Convolution分组 卷积 ,最早见于AlexNet,就是2012年Imagenet的冠军方法,Group Convolution被用来将切分网络,使其在2个GPU上并行运行,AlexNet网络结构如下:
在介绍Group Convolution前,先回顾下常规卷积 加粗样式是怎么做的。如果输入feature map尺…
码农ZZK的博客
11-15 7715
视频来源: https://www.bilibili.com/video/av67348232?from=search&seid=10221504884724623592 常规 卷积
相信接触过卷积 神经网络的都知道常规卷积 的操作 我们通过N个DkDk大小的卷积 核 卷积 出来的结果 设为DnDn*N
现在我们来计算一下常规卷积 的计算开销
一个卷积 核做一次卷积 操作需要的开销为 …
(八)深度可分离 卷积 ( Depth wise Separable Convolution,DSC)
深度可分离 卷积 ( Depth wise Separable Convolution,DSC)最早出现在巴黎綜合理工學院(cmap ecole polytechnique)的Laurent Sifre于2014年提交的一篇名为“Rigid-motion scattering for image classification”的博士学位论文中。但让大家对DSC熟知的...
T_J_S的博客
07-04 5947
不同于常规 卷积 操作, Depth wise Convolution的一个 卷积 核负责一个通道,一个通道只被一个 卷积 核 卷积 。上面所提到的常规 卷积 每个 卷积 核是同时操作输入图片的每个通道。
同样是对于一张5×5像素、三通道彩色输入图片(shape为5×5×3),Depth wise Convolution首先经过第一次卷积 运算,不同于上面的常规卷积 ,DW完全是在二维平面内…
普通 卷积 、 Depth wise (DW) 卷积 、 Point wise (PW) 卷积 、Atrous 卷积
千羽的计算机视觉与机器人
03-28 4831
转发自:https://blog.csdn.net/T_J_S/article/details/94629637 普通 卷积
Depth wise (DW)卷积 不同于常规卷积 操作,Depth wise Convolution的一个卷积 核负责一个通道,一个通道只被一个卷积 核卷积 。上面所提到的常规卷积 每个卷积 核是同时操作输入图片的每个通道。 同样是对于一张5×5像素、三通道彩色输入图片(shape为5×5…
组 卷积 (group Conv)与深度可分离 卷积 ( depth wise )简介
jxb727098的博客
02-11 2226
详细解释:https://zhuanlan.zhihu.com/p/92134485 个人理解:一共分为两步 1.对每个输入通道进行一个 卷积 ,有几个通道就几个1kk的 卷积 平面,通道之间没有任何沟通。 2.类似全连接的手段将每个通道 卷积 后的特征图们关联起来。 计算量:Cin=3,Cou=2,输入特征图33大小。k=3 原来:3332=54 深度可分离:333+1132=33 333(第一步)+1132(第二步)
…
深度可分离 卷积 ( Depth wise Seperable Convolution)与Mobilenet
aaa_aaa1sdf的博客
05-02 6796
一次性完成,输入为, 过滤器为(个数为N),输出为
计算量为:
图1.1 卷积 示意
图1.2 计算量
二、深度可分离卷积 (Depth wise Seperable Convolution)流程:
分两步完成,分别为Depth wise Conv 和 Point wise Conv
Depth wise Conv:filtering sta…
【 CNN 】—— Depth wise 卷积 与 Point wise 卷积
怡宝2号
11-15 849
转载自:https://yinguobing.com/separable-convolution/#fn2 请读原文
卷积 神经网络在图像处理中的地位已然毋庸置疑。卷积 运算具备强大的特征提取能力、相比全连接又消耗更少的参数,应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件,显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable Convolution就是降低卷积 运算参数量的一种典型方法。 常规卷积 运算 假设输入层为一个大小为64×64像素、三通道彩色.
梦家の博客
12-24 4646
group convolution(群卷积 或分组卷积 ) point -wise convolution (点卷积 ) separable convolution(可分离卷积 ) depth -wise convolution (深度卷积 ) dilated convolution (空洞卷积 )
group convolution(群卷积 或分组卷积 ) 假设上一层的feature map总共有…
深度可分离 卷积 - Depth wise Separable Convolution的理解以及pytorch实现
qq_39866805的博客
04-23 3598
深度可分离 卷积 主要分为两个过程,分别为逐通道 卷积 ( Depth wise Convolution)和逐点 卷积 ( Point wise Convolution)。
逐通道卷积 Depth wise Convolution Depth wise Convolution的一个卷积 核负责一个通道,一个通道只被一个卷积 核卷积 ,这个过程产生的feature map通道数和输入的通道数完全一样。
卷积 核的计算量为:3 x 3 x 3 = 27
逐点卷积 Point wise Convolution Poi…
深度可分离 卷积 ( Depth wise SeparableConvolution): Depth wise 卷积 与 Point wise 卷积
xu.hyj
07-24 1369
深度可分离 卷积 不用多说,在轻量级网络架构方面是一个绕不开的话题,只要接触 深度学习 多多少少会接触。深度可分离 卷积 即 Depth wise SeparableConvolution,该 卷积 将一个常规 卷积 过程划分成两个完成 Depth wise 卷积 和 Point wise 卷积 ,在保证输出一样时,计算量大大降低。首先来看,一个常规 卷积 是怎么实现的。其示意图如果我们从通道数变换的角度来看, 卷积 就是将3通道的tensor变为了4通道的tensor,我们来看看深度可分离 卷积 是怎么实现通道的变化的。...
【 深度学习 】各种经典 卷积 之 Depth wise 卷积
最新发布
weixin_42322991的博客
11-07 178
depth wise separable convolutions
wmzjzwlzs的专栏
05-05 112
转自:什么是 depth wise separable convolutions_猫猫与橙子的博客-CSDN博客_ depth wise
Depth wise (DW)卷积 与Point wise (PW)卷积 ,合起来被称作Depth wise Separable Convolution(参见Google的Xception),该结构和常规卷积 操作类似,可用来提取特征,但相比于常规卷积 操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积 操作 对于一张5×5像素、三通道彩色输入图片(s
slamer111的博客
09-07 836
卷积 总结篇( 普通 卷积 、转置 卷积 、膨胀 卷积 、分组 卷积 和深度可分离 卷积 )
caip12999203000的博客
09-08 1621
卷积 总结篇( 普通 卷积 、转置 卷积 、膨胀 卷积 、分组 卷积 和深度可分离 卷积 ),分别从概念、背景、原理、参数量、计算量、感受野、各种 卷积 的优点以及在网络的应用展开讲解。
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页