Convolution

卷积神经网络性能优化

作者丨黎明灰烬来源｜https://zhuanlan.zhihu.com/p/80361782引言卷积（Convolution）是神经网络的核心计算之一，它在计算机视觉方面的突破性进展引领了深度学习的热潮
数据派THU·2022-12-26 08:43

知识 ：卷积神经网络性能优化

转自：AI蜗牛车、极市平台作者丨黎明灰烬来源｜https://zhuanlan.zhihu.com/p/80361782引言卷积（Convolution）是神经网络的核心计算之一，它在计算机视觉方面的突破性进展引领了深度学习的热潮
数据分析v·2022-12-26 08:40

Caffe中BN层与CONV层的融合（merge_bn）

的文档，决定重新发一下毕竟网上来回抄袭的blog太多了，代码质量也莫得保证今天需要用pytorch融合下bn层，写个脚本稍后再传到csdn上原理BN层的融合即为将caffe中BN层与Scale层融合进Convolution
心态已炸_沉迷学习·2022-12-26 07:30

ViLT Vision-and-Language Transformer Without Convolution or Region Supervision

2021年发布在ICML，称为最简单的多模态模型。论文题目：ViLT：不带有卷积和区域建议的视觉语言转换器研究问题：研究动机：现有的VLP方法严重依赖图像特征提取过程，大多包含区域监督（如目标检测）和卷积的结构（如ResNet）。一方面需要更多的计算，影响了速度和效率；另一方面表达能力欠佳，为它是视觉嵌入器及其预定义的视觉词汇的表达能力上限。主要贡献：ViLT是目前参数量最小的多模态Transfo
肉嘟嘟的zhu·2022-12-25 22:47

多模态论文笔记ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

ViLT:Vision-and-LanguageTransformerWithoutConvolutionorRegionSupervisionAbstractVision-and-LanguagePre-training(VLP)提高了各种视觉-语言联合的下游任务的性能。目前的VLP方法在很大程度上依赖于图像特征提取过程，其中大多数涉及regionsuper-vision区域监督（如对象检测）和
栗子酱15551·2022-12-25 22:17

ViLT_Vision-and-Language Transformer Without Convolution or Region Supervision组会稿

背景知识  预训练模型后再finetune已经在cv和nlp领域证明了其可行性，同样的，这种方式在视觉和语言结合的多模态领域也能够带来一定的提升。预训练的方式可以是有监督和自监督。比如说，谷歌很多的图像分类任务都是在自己的巨大数据集JFT上预训练之后，再在imagenet上finetune。而nlp领域，bert类模型都是在大量网络上爬取的语料上进行自监督的方法预训练。目前，多模态领域也已经有了很
Tyyy`·2022-12-25 22:47

《论文阅读》ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

《论文阅读》ViLT:Vision-and-LanguageTransformerWithoutConvolutionorRegionSupervision简介解决的问题模型构架数据集实验分析创新点出版：Proceedingsofthe38thInternationalConferenceonMachineLearning,PMLR时间：2021类型：多模态融合特点：不使用特征抽取，借鉴ViT思路
365JHWZGo·2022-12-25 22:15

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

ViLT:Vision-and-LanguageTransformerWithoutConvolutionorRegionSupervisionTags:Transformer,VLP,multimodal发表日期:2021星级:★★★★★模型简写:ViLT简介:使用统一tranformer架构的Vision-and-Lanuage多模态模型精读:Yes1.Abstract当前VLP模型严重依赖于
BL.S.·2022-12-25 22:14

Raki的读paper小记：ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

Abstract&Introduction&RelatedWork研究任务多模态建模已有方法和相关工作之前的方法在图片-文本-模态融合上的表达能力（或者说使用的计算资源）并不对称，本文列出了之前的经典方法和本工作表达不同模态上使用资源的对比面临挑战图像特征抽取速度太慢创新思路使用VIT的方法与思想，将图片打成patch，然后使用简单的linear层进行特征抽取实验结论对比之前的sota，抽取图片特
爱睡觉的Raki·2022-12-25 22:13

ViLT:Vision-and-Language Transformer Withoout Convolution or Region Supervision

ViLT:Vision-and-LanguageTransformerWithooutConvolutionorRegionSupervision如今，在多模态领域，同样采取先预训练，再进行微调的方式。解决问题视觉和语言预训练(VLP)提高了各种联合视觉和语言下游任务的性能。之前的工作发现，在视觉方面网络的模型越复杂越好，最终的结果就会越好。即当前的VLP方法严重依赖图像特征提取过程，其中大部分涉
但愿此生，从未邂逅·2022-12-25 22:43

keras入门笔记2:我们来玩卷积层（ Convolution Layer）～一层卷积层分类Mnist！

哈啰哈啰～继之前的：keras深度学习入门笔记附录1：让我们看看有多少种让搭建好的模型开始跑的方式（fit和trainonbatch）https://blog.csdn.net/timcanby/article/details/103644089从代码案例入门keras1:LeNet对手写数字Mnist分类https://blog.csdn.net/timcanby/article/details
timcanby·2022-12-25 04:34

卷积神经网络：卷积层和池化层代码实现，im2col代码实现-python(convolution,pooling,im2col)

目录1.im2col2.卷积层3.池化层讲前注意：理解卷积层和池化层的代码主要有两个稍困难的点，一个是关于transpose轴变换与reshape的使用，一个是反向传播的思想。关于反向传播的思想大家可以看这。Affine层和RuLe层的实现思想会用在卷积层和池化层的实现上。本文不讲卷积层和池化层的原理，是代码实践，请理解原理后看代码。代码中有巨量注释，不多阐述注意前向传播和反向传播代码在相反处理数
泥签·2022-12-25 01:32

CNN的实现（附代码）

网络的构成是“Convolution-ReLU-Pooling-Affine-ReLU-Affine-Softmax”，我们将它实现为名为SimpleConvNet的类。
压垮草的骆驼·2022-12-25 01:30

2020-SIGIR- Lightgcn: Simplifying and powering graph convolution network for recommendation

LightGCN当前RS中的GCN工作没有进行彻底的消融实验，本文实验发现GCN的两项设计**[特征转化]和[非线性激活函数]**不适用于协调过滤。提出了LightGCN，只使用了GCN的邻居聚合，线性传播信息，然后加权每一层的嵌入得到最终的表示。1引言CF的通用范式：①学习到用户和物品的隐含特征（嵌入/表示）；②基于嵌入向量进行预测。MF，直接将singleid作为嵌入SVD++，将历史交互物品
Dive_·2022-12-24 08:13

论文翻译 SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络

SGCN:SparseGraphConvolutionNetworkforPedestrianTrajectoryPrediction用于行人轨迹预测的稀疏图卷积网络行人轨迹预测是自动驾驶中的一项关键技术，但由于行人之间复杂的相互作用，该技术仍具有很大的挑战性。然而，以往基于密集无向交互的研究存在建模冗余交互和忽略轨迹运动趋势等问题，不可避免地与实际存在较大偏差。针对这些问题，我们提出了一种用于行
Sun_ZD·2022-12-24 08:39

论文题目：Spatiotemporal Multi-Graph Convolution Network for Ride-Hailing Demand Forecasting

论文题目4：SpatiotemporalMulti-GraphConvolutionNetworkforRide-HailingDemandForecasting（用于网约车需求预测的时空多图卷积网络）期刊及发表年TheThirty-ThirdAAAIConferenceonArtificialIntelligence(AAAI-19)；2019年全部作者XuGeng,YaguangLi,Leye
dongyuyuu·2022-12-24 06:11

Automatic Lip-reading with Hierarchical Pyramidal Convolution and Self-Attention for Image Sequences

标题：基于分层金字塔卷积和自注意力的无单词边界图像序列自动唇读关键词：金字塔卷积（PyramidalConvolution，PyConv）、分层金字塔卷积（HierarchicalPyramidalConvolution，HPConv）、自注意力（selfattention）、共识模块（ConsensusModule）相当于融合模块金字塔卷积论文：PyramidalConvolution:Reth
让我看看谁在学习·2022-12-23 04:36

resnet50网络结构_轻量（高效）目标检测网络结构设计

一般来说，输入图像大小与网络深度正相关，即：大图像需要更深的网络提取更好的特征backbone：是网络主结构的表达，由convolution、normalization、activation这3种层堆叠而成
weixin_39907316·2022-12-22 15:48

理解NLP中的CNN（翻译）

Convolutionalneuralnetwork什么是卷积（convolution）模糊处理边缘检测什么是卷积神经网络（convolutionalneuralnetwork）如何将CNN应用到NLP
danni1023·2022-12-22 15:31

语义分割--Understand Convolution for Semantic Segmentation

UnderstandingConvolutionforSemanticSegmentationUnderstandingConvolutionforSemanticSegmentation收录：IEEEWinterConferenceonApplicationsofComputerVision(WACV2018)原文地址：HDC代码:官方-MXNetAbstract本文介绍了两种操控卷积相关运算(
DFann·2022-12-22 03:43

加密流量分类-论文4Endtoend Encrypted Traffic Classification with One-dimensional Convolution Neural Networks

加密流量分类-论文4：EndtoEndEncryptedTrafficClassificationwithOne-dimensionalConvolutionNeuralNetworks0、摘要1、概念介绍1.1流量加密技术1.2常见加密协议1.3端到端的流量分类方法与传统方法的对比1.4网络流量划分粒度2、ISCX-VPN-NonVPN-2016数据集3、模型结构3.1总览3.2数据预处理3.3
烟玉蓝田·2022-12-22 01:30

谱图卷积（Spectral Graph Convolution)

谱图卷积（SpectralGraphConvolution）正定矩阵和半正定矩阵：【定义1】给定一个大小为的实对称矩阵A，若对于任意长度为n的非零向量x，有恒成立，则矩阵A是一个正定矩阵。【定义2】给定一个大小为的实对称矩阵A，若对于任意长度为n的非零向量x，有恒成立，则矩阵A是一个半正定矩阵。拉普拉斯矩阵的谱分解：拉普拉斯矩阵作为半正定矩阵，能够进行谱分解且对角元一定是非负数：;同时，作为对称矩
陈煜嵘Yurong·2022-12-21 18:04

直观理解Dilated Convolution

DilatedConvolution是一种通过增加kernel元素间距(padding0)使得感受野增加的一种卷积方式。所谓感受野就是特征图上每个点对应原图像的像素范围。这样，在不改变kernelsize(上图中的kernelsize还是3x3)的情况下，增加了感受野。也可以理解为kernelsize从3x3变成了5x5(但是只有原来的3x3的位置有权值，其余位置均为0)，DilatedConv的
daimashiren·2022-12-21 09:51

17 - ConvMixer论文原理以及其PyTorch源码实现

文章目录1.ConvMixer论文1.1论文背景1.2论文结论2.ConvMixer主要思路2.1normal-convolution2.2depthwise-convolution2.3pointwise-convolution2.4ConvMixer
取个名字真难呐·2022-12-21 06:09

Bert+CNN文本分类（含代码实现）

CNN的特点二、CNN模型构造过程2.1Convolution（卷积）2.2MaxPooling（池化）2.3Flatten三、TextCNN3.1什么是TextCNN3.2TextCNN与Image-CNN
Dr.sky_·2022-12-19 19:08

Convolution over Hierarchical Syntactic and Lexical Graphs for Aspect Level Sentiment Analysis论文阅读

来自EMNLP2020《面向方面级情感分析的层次句法和词汇图卷积》目录0Abstract1Introduction2RelatedWork3Preliminary4ProposedModel4.1获得初始句子表示4.2细化句子表示4.3生成面向方面的表示4.4ModelTraining5Experiments5.1DatasetsandSettings5.2ResultsandAnalysis5.
一只快点的小白鼠·2022-12-19 10:05

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

论文地址：https://arxiv.org/pdf/2102.03334.pdf代码地址：https://github.com/dandelin/vilt.摘要目前的VLP方法严重依赖于图像特征提取过程，其中大部分涉及区域监督（如目标检测）和卷积体系结构（如ResNet）。虽然在文献中被忽略了，但我们发现在效率/速度方面存在问题，简单地提取输入特征比多模态交互步骤需要更多的计算，本文在总结了以往
scycie·2022-12-19 09:52

论文阅读：LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

论文阅读：LightGCN:SimplifyingandPoweringGraphConvolutionNetworkforRecommendationpaper：https://arxiv.org/abs/2002.02126code：https://github.com/kuandeng/LightGCNNGCF和LightGCN模型展示对比何向南老师组的两大必读论文NGCF和LightGCN
怼怼是酷盖·2022-12-19 00:48

【matlab深度学习工具箱】convolution2dLayer参数详解

convolution2dLayer2-D卷积层文章目录convolution2dLayer描述创造语法描述输入参数`Padding`—输入边填充`[0000]`（默认）|非负整数的向量|`“相同”`性能卷积
魚香肉丝盖饭·2022-12-18 02:07

MATLAB中深度学习的多级神经网络构建

layers=[imageInputLayer([28281],'Name','input')convolution2dLayer(5,16,'Padding','same','Name','conv_
瀶·2022-12-18 02:02

yolov3-tiny工程应用和实现

目录前言相关推荐yolov3-tiny原理yolov3-tiny源码分析配置网络结构下载权重文件将权重参数批量归一化输入图像前向传播网络卷积层[convolution]池化层[maxpool]路由层[route
alangaixiaoxiao·2022-12-18 02:20

《深度学习入门》第七章：卷积神经网络

1.CNN（convolutionalneuralnetwork,CNN）：同样通过组装层实现，不过新出现了卷积层（convolution层）和池化层（pooling层）2.为什么要用卷积层（convolution
鬼才的凝视·2022-12-17 11:52

3.1 卷积神经网络基础

文章目录计算机视觉的发展历程卷积神经网络卷积（Convolution）卷积计算填充（padding）步幅（stride）感受野（ReceptiveField）多输入通道、多输出通道和批量操作飞桨卷积API
一条大蟒蛇6666·2022-12-17 07:22

Encoder-decoder with atrous separable convolution for semantic image segmentation

经典语义分割论文解读-Deeplab系列-知乎作为使用深度学习方法解决计算机视觉问题的一个重要分支，语义分割一直是一个重要的研究方向，一大堆研究人员前仆后继的往这个坑里跳，也相继的产出了很多惊艳的研究成果，今天我们一起了解下语义分割中很重要的一…https://zhuanlan.zhihu.com/p/357082897关于全卷积神经网络的思考-知乎最近一个月先后想明白了目标检测和图像分类、语意分
Kun Li·2022-12-16 04:09

【深度学习】网络中隐含层神经元节点的个数（需要学习的特征数目）

http://blog.csdn.net/zouxy09/article/details/99833991、网络中隐含层神经元节点的个数（需要学习的特征数目），采集的密度（也就是convolution时的移动步伐
Mister Zhu·2022-12-15 19:57

module ‘tensorflow_core.keras.layers‘ has no attribute ‘Convolution1DTranspose‘ 报错解决方法

报错原因：TensorFlow版本过低，我的报错版本是2.0.0解决办法：在命令行输入下行指令，升级TF版本。pipinstall--upgradetensorflow更新完成后，运行下行Python代码，检查升级是否成功。print(tf.__version__)我得到结果如下，说明我成功升级了TF。2.4.1此时再跑报错代码，可以成功运行。
暴躁老哥在线刷题·2022-12-15 16:40

gated convolution

1Localresponsenormalization（局部响应归一化）局部响应归一化，由于做了平滑处理，可以增加泛化能力，公式如下bx,yi=ax,yi/(bias+α∑j=max⁡(0,i−n/2)min⁡(N−1,i+n/2)(ax,yi)2)b_{x,y}^i=a_{x,y}^i/\left({bias+\alpha\sum\limits_{j=\max(0,i-n/2)}^{\min(N
zc38324·2022-12-15 13:20

[GAN]Free-Form Image Inpainting with Gated Convolution论文翻译（回归帖~\(￣︶￣*\))）

Free-FormImageInpaintingwithGatedConvolution一些废话0.摘要1.引言2.相关工作Reference一些废话好久没有认真写博客了，10月份之前一直在忙保研的事情（其实也不算很忙，更多是情绪和心态上的内耗，忙起来反而会觉得很轻松吧）。有粉丝私信问我最后去了哪里，博主最后保研到了复旦大学的计算机学院，非常幸运的拿到了学硕资格，做的是ai方向，plus实验室有一
Vanessa Ni·2022-12-15 13:20

（门控卷积实现）DeepFillv2（图像修复）：Free-Form Image Inpainting with Gated Convolution，pytroch代码实现

deepfillv2的动机结合了几乎所有的目前先进的图像修复技术，基于部分卷积提出了门控卷积，结合了CA中的注意力机制，根据AdversarialEdge图像修复中的边缘信息先验提出了用户可交互的草图先验信息。基于spectral-normallizedGAN提出了SN-PatchGAN鉴别器，本文所用的损失函数只有l1重建损失和SN-PatchGAN损失.1.GatedConvolution为了
halo_wm·2022-12-15 13:47

读书笔记6：Attentive Convolution

从摘要中就可看出，这篇文章针对的问题是NLP这种RNN很擅长，但是CNN不怎么擅长的问题，据此我们猜想，NLP能用，那应该是时间序列之类的问题都可以用，像视频处理，动作识别也都有希望从中借鉴一二。摘要中，作者介绍到：在NLP中，RNN从attentionmechanism中获益匪浅，相比之下CNN就没有很好地借此来提升自己的性能。作者认为这个可能是因为CNN中attentionmechanism主
b224618·2022-12-15 13:16

《Free-Form Image Inpainting with Gated Convolution》阅读笔记

《Free-FormImageInpaintingwithGatedConvolution》阅读笔记一、论文二、代码三、参考链接一、论文摘要:我们提出了一种生成式图像修复系统，以使用自由形式的蒙版和引导修复图像。该系统基于从数百万张图像中学习的门控卷积，无需额外的标记工作。提出的门控卷积解决了将所有输入像素都视为有效像素的普通卷积的问题，通过为所有通道在所有层上每个空间位置的每个通道提供一种可学习
6个小石头·2022-12-15 13:46

Gated Convolution

GatedConvolution是对部分卷积网络（PartialConvolutions）《ImageInpaintingforIrregularHolesUsingPartialConvolutions》的改进ICCV2019《Free-FormImageInpaintingwithGatedConvolution》解决问题：PartialConvolutions中Mask更新的不合理；提出新卷
马鹏森·2022-12-15 13:45

李宏毅机器学习作业13——网络压缩，模型剪枝，知识蒸馏，Depthwise Separable Convolution

理论参见：高效深度学习软硬件设计——神经网络压缩、Pruning模型剪枝、权值共享、低秩近似_iwill323的博客-CSDN博客目录任务和数据集任务描述数据集导包辅助函数数据处理显示文件夹和文件数量transformsDataset数据加载函数分类模型训练加载数据集训练函数进行训练推断加载数据architecturedesign概念DepthwiseSeparableConvolution建立模
iwill323·2022-12-15 06:28

Caffe中DeconvolutionLayer的用法

在我的理解里面，Convolution是将大尺寸的featuremap转换为小尺寸的featuremap，而Deconvolut
crediks·2022-12-14 23:10

Convolution Networks 和Deconvolution Networks

一.卷积的概念卷积是分析数学中的一种重要运算，英文convolution。需要注意的是，以下我们考虑都是离散情况下的卷积操作。
susandebug·2022-12-14 23:39

caffe常见层及其prototxt设置

输入：Convolution:layer{name:""type:"Convolution"bottom:""top:""param{lr_mult:1}param{lr_mult:2}#学习率的系数，
王小白的博客·2022-12-14 23:09

Caffe小记

deploy.prototxtsolver.prototxttrain_val.prototxttrain.caffemodeldeploy.prototxt文件中Layer的定义形式layer{name:"data/*"type:"Input/Convolution
yukaiwen0102·2022-12-14 23:05

【深度学习】PyTorch深度学习实践 - Lecture_11_Advanced_CNN

文章目录一、GoogLeNet1.1网络结构1.2InceptionModel1.31×1Convolution1.4PyTorch-GPU实现GoogLeNet二、ResidualNet2.1梯度消失和梯度爆炸
WSKH0929·2022-12-14 20:51

二维卷积层入门：卷积运算、填充与步幅、输入输出通道

微信公号：ilulaoshi/原文发表在我的个人网站：https://lulaoshi.info/machine-learning/convolutional/two-dimension-convolution-layer.html
皮皮鲁同学·2022-12-13 21:08

Fast Fourier Convolution 阅读笔记

快速傅里叶卷积论文链接NeurIPS2020摘要：目前深度网络中的普通卷积以局部且固定scale的方式运行（例如，面向图像的任务广泛采用3×3kernel），导致网络低效连接两个远距离位置。本文提出了一种具有non-local感受野和卷积单元内cross-scalefusion的新卷积算子：快速傅里叶卷积（FastFourierConvolutionFFC）。根据傅里叶理论中的谱卷积定理，全局谱域
AnZhiJiaShu·2022-12-13 18:08
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他