Depthwise 卷积 ,Pointwise 卷积与普通卷积的区别

Depthwise 卷积 ,Pointwise 卷积与普通卷积的区别

    

1 普通卷积

原理:普通卷积是,一个卷积核与input的所有通道都进行卷积,然后不同通道相同位置卷积后的结果再相加,如下图所示,:⾸先,每个通道内对应位置元素相乘再相加,最后计算所有通道的总和作为最终结果。卷积核的Channel通道数等于Input输⼊的通道数,Output输出的通道数等于卷积核的个数。

2 Depthwise 卷积

原理:Depthwise 卷积的一个卷积核只负责一个通道,一个卷积核只与一个通道卷积。那么卷积核数需要与输入的通道数相等,输出的通道数也不变,等于输入的通道数,等于卷积核数。所以depthwise卷积只改变特征图的大小,不改变通道数。但这种运算对输入层的每个通道独立进行卷积运算,没有有效的利用不同通道在相同空间位置上的feature信息。

depthwise卷积,只改变feature map的大小,不改变通道数。

3 Pointwise卷积

 Pointwise Convolution的运算与常规卷积运算相似,它的卷积核的尺寸为 1×1×M,M为上一层的通道数。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合,生成新的Feature map。有几个卷积核就有几个输出Feature map。

Pointwise卷积,不改变feature map的大小,只改变通道数。

 4 Depthwise separable convolution(深度可分离卷积) 

深度可分离卷积depthwise separable convolution,由depthwise(DW)和pointwise(PW)结合起来组成。相比常规的卷积操作,其参数数量和运算成本比较低轻量化模型中常用,例如MobileNet

文章知识点与官方知识档案匹配,可进一步学习相关知识
OpenCV技能树OpenCV中的深度学习图像分类 11821 人正在系统学习中
月亮299
关注 关注
  • 7
    点赞
  • 34
    收藏
  • 打赏
    打赏
  • 0
    评论
PointConv:基于3D点云的深度 卷积网络
3D视觉工坊
11-20 3272
原文首发于微信公众号「3D视觉工坊」—— PointConv:基于3D点云的深度 卷积网络

本文出自知乎:

https://zhuanlan.zhihu.com/p/69597887?utm_source=wechat_session&utm_medium=social&utm_oi=1135649954939883520

原文:

PointConv: Deep Convol…


各种 卷积层的理解(深度可分离 卷积、分组 卷积、扩张 卷积、反 卷积
热门推荐
gwpscut的博客
05-06 5万+
最近在研究 卷积网络的改性,有必要对各种 卷积层的结构深入熟悉一下。为此写下这篇学习笔记。

文章大部分内容来自于网络的各种博客总结,本博文仅仅作为本人学习笔记,不做商业用途。

目录

2D卷积

3D卷积

1*1卷积

空间可分离卷积(separable convolution)

深度可分离卷积depthwise separable convolution)

分组卷积(Group conv…


Depth wise 卷积Point wise 卷积_干巴他爹的博客_d wise 卷积
1-25
Depth wise(DW) 卷积Point wise(PW) 卷积,合起来被称作 Depth wise Separable Convolution(参见Google的Xception),该结构和常规 卷积操作类似,可用来提取特征,但相比于常规 卷积操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如...
卷积网络基础知识--- Depth wise Convolution && Point wise Convolution...
1-17
Depth wise(DW) 卷积Point wise(PW) 卷积,合起来被称作 Depth wise Separable Convolution(参见Google的Xception), 卷积神经网络在图像处理具备强大的提取特征的能力,相比全连接又消耗更少的参数,不过受限于移动端设备的硬件条件,仍然达不到运算量的...
Depth wise Separable Convolution详解
04-07 1万+
转载自 常规 卷积运算 假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个Filter的 卷积层,最终输出4个Feature Map,且尺寸与输入层相同。整个过程可以用下图来概括。

此时,卷积层共4个Filter,每个Filter包含了3个Kernel,每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算:
N_std = 4 × 3 × 3 × 3 = 10…


Depth wise 卷积Point wise 卷积
杨杨子江的博客
10-24 380
Depth wise(DW) 卷积Point wise(PW) 卷积,合起来被称作 Depth wise Separable Convolution(参见Google的Xception),该结构和常规 卷积操作类似,可用来提取特征,但相比于常规 卷积操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。 常规 卷积操作 对于一张5×5像素、三通道彩色输入图片(shape为5×5×...
卷积】Conv与 Depth wise Seperable Conv_阑珊珊珊的博客
1-19
卷积,本质上是矩阵点乘和加法。 如下图所示,输入为蓝色部分即7x7的矩阵, 卷积核为蓝色阴影部分即3x3的矩阵。 卷积计算即在输入中依次选取和 卷积核大小相等的矩阵,与 卷积核依次进行矩阵点乘(对应位置进行相乘,并将结果累和),最后再加一个...
depth wise convolution/深度可分离 卷积_NCU_wander的博客_dept...
1-19
Depth wise Convolution完成后的Feature map数量与输入层的 depth相同,但是这种运算仅仅对输入层的每个channel独立进行 卷积运算,只能考虑到层之间不同感受野内的关系,没有利用不同feature map在相同空间位置上的信息。因此需要增加另外一步操作来...
Group Convolution分组 卷积,以及 Depth wise Convolution和Global Depth wise Convolution
日拱一卒
01-09 7049
博客:blog.shinelee.me | 博客园 | CSDN Group Convolution分组 卷积,最早见于AlexNet,就是2012年Imagenet的冠军方法,Group Convolution被用来将切分网络,使其在2个GPU上并行运行,AlexNet网络结构如下:

在介绍Group Convolution前,先回顾下常规卷积加粗样式是怎么做的。如果输入feature map尺…


一文读懂 Depth wise 卷积
码农ZZK的博客
11-15 7715
视频来源: https://www.bilibili.com/video/av67348232?from=search&seid=10221504884724623592 常规 卷积

相信接触过卷积神经网络的都知道常规卷积的操作
我们通过N个DkDk大小的卷积
卷积出来的结果
设为DnDn*N

现在我们来计算一下常规卷积的计算开销

一个卷积核做一次卷积操作需要的开销为



(八)深度可分离 卷积( Depth wise Separable Convolution,DSC)
1-17
深度可分离 卷积( Depth wise Separable Convolution,DSC)最早出现在巴黎綜合理工學院(cmap ecole polytechnique)的Laurent Sifre于2014年提交的一篇名为“Rigid-motion scattering for image classification”的博士学位论文中。但让大家对DSC熟知的...
Depth wise 卷积convolution
T_J_S的博客
07-04 5947
不同于常规 卷积操作, Depth wise Convolution的一个 卷积核负责一个通道,一个通道只被一个 卷积卷积。上面所提到的常规 卷积每个 卷积核是同时操作输入图片的每个通道。

同样是对于一张5×5像素、三通道彩色输入图片(shape为5×5×3),Depthwise Convolution首先经过第一次卷积运算,不同于上面的常规卷积,DW完全是在二维平面内…


普通 卷积Depth wise(DW) 卷积Point wise(PW) 卷积、Atrous 卷积
千羽的计算机视觉与机器人
03-28 4831
转发自:https://blog.csdn.net/T_J_S/article/details/94629637 普通 卷积

Depthwise(DW)卷积
不同于常规卷积操作,Depthwise Convolution的一个卷积核负责一个通道,一个通道只被一个卷积卷积。上面所提到的常规卷积每个卷积核是同时操作输入图片的每个通道。
同样是对于一张5×5像素、三通道彩色输入图片(shape为5×5…


卷积(group Conv)与深度可分离 卷积depth wise)简介
jxb727098的博客
02-11 2226
详细解释:https://zhuanlan.zhihu.com/p/92134485 个人理解:一共分为两步 1.对每个输入通道进行一个 卷积,有几个通道就几个1kk的 卷积平面,通道之间没有任何沟通。 2.类似全连接的手段将每个通道 卷积后的特征图们关联起来。 计算量:Cin=3,Cou=2,输入特征图33大小。k=3 原来:3332=54 深度可分离:333+1132=33 333(第一步)+1132(第二步)




深度可分离 卷积Depth wise Seperable Convolution)与Mobilenet
aaa_aaa1sdf的博客
05-02 6796
一、标准 卷积流程:

一次性完成,输入为, 过滤器为(个数为N),输出为

计算量为:

图1.1 卷积示意

图1.2 计算量

二、深度可分离卷积Depthwise Seperable Convolution)流程:

分两步完成,分别为Depthwise Conv 和 Pointwise Conv

  1. Depthwise Conv:filtering sta…

CNN】—— Depth wise 卷积Point wise 卷积
怡宝2号
11-15 849
转载自:https://yinguobing.com/separable-convolution/#fn2 请读原文

卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数,应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件,显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable Convolution就是降低卷积运算参数量的一种典型方法。
常规卷积运算
假设输入层为一个大小为64×64像素、三通道彩色.


深度学习之各种类型的 卷积运算
梦家の博客
12-24 4646
各种 卷积运算

group convolution(群卷积或分组卷积
point-wise convolution (点卷积)
separable convolution(可分离卷积
depth-wise convolution (深度卷积)
dilated convolution (空洞卷积)

group convolution(群卷积或分组卷积
假设上一层的feature map总共有…


深度可分离 卷积- Depth wise Separable Convolution的理解以及pytorch实现
qq_39866805的博客
04-23 3598
深度可分离 卷积主要分为两个过程,分别为逐通道 卷积Depth wise Convolution)和逐点 卷积Point wise Convolution)。

逐通道卷积 Depthwise Convolution
Depthwise Convolution的一个卷积核负责一个通道,一个通道只被一个卷积卷积,这个过程产生的feature map通道数和输入的通道数完全一样。

卷积核的计算量为:3 x 3 x 3 = 27

逐点卷积 Pointwise Convolution
Poi…


深度可分离 卷积Depth wiseSeparableConvolution): Depth wise 卷积Point wise 卷积
xu.hyj
07-24 1369
深度可分离 卷积不用多说,在轻量级网络架构方面是一个绕不开的话题,只要接触 深度学习多多少少会接触。深度可分离 卷积Depth wiseSeparableConvolution,该 卷积将一个常规 卷积过程划分成两个完成 Depth wise 卷积Point wise 卷积,在保证输出一样时,计算量大大降低。首先来看,一个常规 卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看, 卷积就是将3通道的tensor变为了4通道的tensor,我们来看看深度可分离 卷积是怎么实现通道的变化的。...
深度学习】各种经典 卷积Depth wise 卷积
最新发布
weixin_42322991的博客
11-07 178
DW 卷积
depth wise separable convolutions
wmzjzwlzs的专栏
05-05 112
转自:什么是 depth wise separable convolutions_猫猫与橙子的博客-CSDN博客_ depth wise

Depthwise(DW)卷积Pointwise(PW)卷积,合起来被称作Depthwise Separable Convolution(参见Google的Xception),该结构和常规卷积操作类似,可用来提取特征,但相比于常规卷积操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积操作
对于一张5×5像素、三通道彩色输入图片(s


深度可分离 卷积与传统 卷积区别
slamer111的博客
09-07 836
深度可分离 卷积
卷积总结篇( 普通 卷积、转置 卷积、膨胀 卷积、分组 卷积和深度可分离 卷积
caip12999203000的博客
09-08 1621
卷积总结篇( 普通 卷积、转置 卷积、膨胀 卷积、分组 卷积和深度可分离 卷积),分别从概念、背景、原理、参数量、计算量、感受野、各种 卷积的优点以及在网络的应用展开讲解。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

你可能感兴趣的:(9.1,行业基础知识,深度学习,cnn,神经网络,深度学习,深度学习,人工智能,计算机视觉,cnn)