attention

多维时序 | MATLAB实现PSO-BiGRU-Attention粒子群优化双向门控循环单元融合注意力机制的多变量时间序列预测

多维时序|MATLAB实现PSO-BiGRU-Attention粒子群优化双向门控循环单元融合注意力机制的多变量时间序列预测目录多维时序|MATLAB实现PSO-BiGRU-Attention粒子群优化双向门控循环单元融合注意力机制的多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍
机器学习之心·2023-11-18 17:14

分类预测 | Matlab实现PSO-BiLSTM-Attention粒子群算法优化双向长短期记忆神经网络融合注意力机制多特征分类预测

分类预测|Matlab实现PSO-BiLSTM-Attention粒子群算法优化双向长短期记忆神经网络融合注意力机制多特征分类预测目录分类预测|Matlab实现PSO-BiLSTM-Attention粒子群算法优化双向长短期记忆神经网络融合注意力机制多特征分类预测分类效果基本描述程序设计参考资料分类效果基本描述
机器学习之心·2023-11-18 17:03

Stable Diffusion1.5网络结构-超详细原创

1.4CrossAttnDownBlock2D1.4.1ResnetBlock2D1.4.2Transformer2DModel1.4.2.1BasicTransformerBlock1.4.2.1.1SelfAttention1.4.2.1.2CrossAttention2VAE3CLIP
wu_jiacheng·2023-11-17 01:21

11-16 周四 简单代码理解FlashAttention 分块计算softmax

下面的代码对于2*3进行演示#!/usr/bin/envpython#-*-encoding:utf-8-*-importnumpyasnp#定义输入数组input_array=np.array([[1,2,3],[4,9,6]])print("np.e:",np.e)print("1/np.e:",1/np.e)#求出每行的最大值max_values=np.max(input_array,axi
思影影思·2023-11-16 21:43

Attention is all you need（Transformer）论文阅读笔记

一、背景seq2seq模型（2014年）：https://blog.csdn.net/zyk9916/article/details/118002934Attention模型（2015年）：https:
zyk9916·2023-11-16 19:17

【nlp】2.6 注意力机制Attention

注意力机制1注意力机制介绍1.1注意力概念1.2注意力计算规则1.3常见的注意力计算规则2什么是深度神经网络注意力机制3注意力机制的作用4注意力机制实现步骤4.1步骤4.2代码实现1注意力机制介绍1.1注意力概念我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的)，是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断；而并非是从头到尾的观察一遍事物后，才能有判断结果。
lys_828·2023-11-16 19:26

实时车道线检测算法 | LaneATT-250FPS && LSTR-420FPS

车道线检测领域突然飞速发展，关注一下最新的两篇文章一、KeepyourEyesontheLane:Attention-guidedLaneDetection论文地址：https://arxiv.org/
chenzy_hust·2023-11-16 11:38

langchain 之 Tools 多案例使用（一）

原文：langchain之Tools多案例使用（一）-简书ATTENTION:如果采用openai的接口，需要走代理，本文采用proxychains进行设置。
javastart·2023-11-16 11:34

ICRA 2023 | CurveFormer：基于Transformer的3D车道线检测新网络

CurveFormer:3DLaneDetectionbyCurvePropagationwithCurveQueriesandAttention,ICRA2023https://arxiv.or
自动驾驶之心·2023-11-16 11:31

分类预测 | Matlab实现PSO-GRU-Attention粒子群算法优化门控循环单元融合注意力机制多特征分类预测

分类预测|Matlab实现PSO-GRU-Attention粒子群算法优化门控循环单元融合注意力机制多特征分类预测目录分类预测|Matlab实现PSO-GRU-Attention粒子群算法优化门控循环单元融合注意力机制多特征分类预测分类效果基本描述程序设计参考资料分类效果基本描述
机器学习之心·2023-11-16 09:42

多维时序 | MATLAB实现PSO-BiLSTM-Attention粒子群优化双向长短期记忆神经网络融合注意力机制的多变量时间序列预测

多维时序|MATLAB实现PSO-BiLSTM-Attention粒子群优化双向长短期记忆神经网络融合注意力机制的多变量时间序列预测目录多维时序|MATLAB实现PSO-BiLSTM-Attention
机器学习之心·2023-11-16 09:12

分类预测 | Matlab实现PSO-LSTM-Attention粒子群算法优化长短期记忆神经网络融合注意力机制多特征分类预测

分类预测|Matlab实现PSO-LSTM-Attention粒子群算法优化长短期记忆神经网络融合注意力机制多特征分类预测目录分类预测|Matlab实现PSO-LSTM-Attention粒子群算法优化长短期记忆神经网络融合注意力机制多特征分类预测分类效果基本描述程序设计参考资料分类效果基本描述
机器学习之心·2023-11-16 09:12

Stable Diffusion WebUI使用AnimateDiff插件生成动画

要开启sdp优化，在启动参数加上--sdp-no-mem-attention实际的显存使用量取决于图像大小（batchsize）和上下文批处理大小（Contextbatchsize）。
培根芝士·2023-11-16 08:33

论文笔记——BiFormer

Title:BiFormer:VisionTransformerwithBi-LevelRoutingAttentionPaper:https://arxiv.org/pdf/2303.08810.pdfCode
Sciws·2023-11-16 06:56

Federated Social Recommendation with Graph Neural Network

基于图神经网络的联合社交推荐ACM-TISTCCF_B类论文链接代码地址模型中梯度和embedding的聚合在FeSog中，Server端维护一个整体的model，由于这里的model层网络和GraphAttentionLayer
jieHeEternity·2023-11-16 04:40

Transformer模型学习笔记

模型学习笔记前言回顾参考资料解读1.High-level的看一下,transformer大致是个什么样子2.输入语句中词的顺序(PositionalEncoding)3.进入Encoder层4.Self-Attention
valleria·2023-11-16 00:23

Dual-awareness Attention for Few-Shot Object Detection

Dual-awarenessAttentionforFew-ShotObjectDetection论文链接：https://arxiv.org/pdf/2102.12152.pdfIntroduction
没拖拉机的斯基·2023-11-15 18:54

【注意力机制综述】基础原理、变种和最近研究

“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来自|知乎作者丨李新春来源丨https://zhuanlan.zhihu.com/p/106662375仅作学术交流，如有侵权，请联系删文Attention
小白学视觉·2023-11-15 17:04

Python深度学习进阶与应用丨注意力（Attention）机制、Transformer模型、生成式模型、目标检测算法、图神经网络、强化学习详解等

目录第一章注意力（Attention）机制详解第二章Transformer模型详解第三章生成式模型详解第四章目标检测算法详解第五章图神经网络详解第六章强化学习详解第七章深度学习模型可解释性与可视化方法详解更多应用近年来
WangYan2022·2023-11-15 17:00

Linux-AT命令干货分享，还不赶紧收藏！

AT简介AT即Attention，AT指令集是从终端设备(TerminalEquipment，TE)或数据中断设备(DataTerminalEquipment，DTE)向终端适配器(TerminalAdapter
GLAB-Mary·2023-11-15 16:40

Self-Attention真的是必要的吗？微软&中科大提出Sparse MLP，降低计算量的同时提升性能！...

在这项工作中，作者探究了Transformer的自注意（Self-Attention）模块是否是其实现图像识别SOTA性能的关键。
我爱计算机视觉·2023-11-15 15:36

自注意力真的是Transformer的必杀技吗？MSRA否认三连！并反手给你扔来一个sMLPNet...

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：happy|转载自：极市平台导读本文构建了一种Attention-free、基于MLP的sMLPNet，主要将MLP模块中的token-mixing
Amusi（CVer）·2023-11-15 15:32

Transformer（二）—— ResNet（残差网络）

为什么需要更深的网络2.2理想中的深网络表现三、实践和实验效果3.1构造恒等映射：残差学习（residulelearning）3.2残差网络四、Transformer中的残差连接在Transformer中，数据过Attention
深浅卡布星·2023-11-15 14:36

Part-aware Attention Network for Person Re-Identification

题目：Part-awareAttentionNetworkforPersonRe-Identification作者：WangmengXiang一、要解决的问题(研究动机)：（1）“多层次特征聚合”方法回会忽略不同层次特征图之间的长程联系
二苏旧局吖·2023-11-15 13:16

一文搞懂Transformer

Transformer是基于attention机制。而attention机制又在Encoder、Decode中。
不减到100斤不吃锅包肉·2023-11-15 11:26

45 深度学习(九)：transformer

文章目录transformer原理代码的基础准备位置编码Encoderblockmulti-headattentionFeedForward自定义encoderblockDeconderblockEncoderDecodertransformer
Micoreal·2023-11-15 09:44

深度学习实战59-NLP最核心的模型：transformer的搭建与训练过程详解，手把手搭建与跑通

transformer是一种基于自注意力机制的深度学习模型，由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。
微学AI·2023-11-15 08:25

多维时序 | MATLAB实现PSO-LSTM-Attention粒子群优化长短期记忆神经网络融合注意力机制的多变量时间序列预测

多维时序|MATLAB实现PSO-LSTM-Attention粒子群优化长短期记忆神经网络融合注意力机制的多变量时间序列预测目录多维时序|MATLAB实现PSO-LSTM-Attention粒子群优化长短期记忆神经网络融合注意力机制的多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍多维时序
机器学习之心·2023-11-15 05:46

8. 深度学习——NLP

机器学习面试题汇总与解析——NLP本章讲解知识点什么是NLP循环神经网络（RNN）RNN变体Attention机制RNN反向传播推导LSTM与GRUTransformerBertGPT分词算法分类CBOW
华为云计算搬砖工·2023-11-14 18:05

YOLOV5----修改损失函数-ShuffleAttention

主要修改yolo.py、yolov5s.yaml及添加ShuffleAttention.py一、ShuffleAttention.pyimportnumpyasnpimporttorchfromtorchimportnnfromtorch.nnimportinitfromtorch.nn.parameterimportParameterclassShuffleAttention
weixin_44119674·2023-11-14 17:52

Transformer模型详解

Transformer上一节中我们详细介绍了Seq2Seq模型和Attention机制的应用，首先来看即便是带有Attention机制的Seq2Seq模型仍存在的问题。
lzk_nus·2023-11-14 16:51

Transformer模型

目录1.概述2.ModelArchitecture2.1自回归2.2编码器与解码器2.3Attention2.4Attention—mask2.5Multi-HeadAttention2.6自注意力使用
MyDreamingCode·2023-11-14 16:46

生成式AI - 大模型推理框架概述

vLLMGitHub:https://github.com/vllm-project/vllm简介vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理
LarryHai6·2023-11-14 11:05

基于卷积神经网络和客源注意力机制的OD客流预测模型

Anorigin–destinationpassengerflowpredictionsystembasedonconvolutionalneuralnetworkandpassengersource-basedattentionmechanism
当交通遇上机器学习·2023-11-14 09:28

webpack5优化

运行时性能更好~我们会从以下角度来进行优化：提升开发体验提升打包构建速度减少代码体积优化代码运行性能提升开发体验SourceMap为什么开发时我们运行的代码是经过webpack编译后的，例如下面这个样子：/**ATTENTION
mildness丶·2023-11-14 09:03

RT-DETR算法优化改进：可变形大核注意力（D-LKA Attention），超越自注意力，实现暴力涨点 | 2023.8月最新发表

本文独家改进:可变形大核注意力（D-LKAAttention），采用大卷积核来充分理解体积上下文的简化注意力机制，来灵活地扭曲采样网格，使模型能够适当地适应不同的数据模式1）代替RepC3进行使用；推荐指数
AI小怪兽·2023-11-14 01:22

RT-DETR算法优化改进：新颖的多尺度卷积注意力（MSCA），即插即用，助力小目标检测 | NeurIPS2022

1）代替RepC3进行使用；2）MSCAAttention直接作为注意力进行使用；推荐指数：五星RT-DETR魔术师专栏介绍：https://blog.csdn.net/m0_63774211/category
AI小怪兽·2023-11-13 19:43

RT-DETR算法优化改进：一种新颖的动态稀疏注意力(BiLevelRoutingAttention) | CVPR2023

本文独家改进:提出了一种新颖的动态稀疏注意力(BiLevelRoutingAttention)，以实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性1）代替RepC3进行使用；2）BiLevelRoutingAttention
AI小怪兽·2023-11-13 19:13

Transformer学习

2.整体结构2.1.self-Attention2.2.Encoder2.3.Decoder3.bert3.1.如何训练bert1.RNN存在什么问题？
GeekPlusA·2023-11-13 18:45

完全小白的pycharm深度学习调试+for循环断点条件设置

断点调试控制台输入代码中循环的debug方法pycharm中图标的介绍常见的BugDebug经验1.检查激活函数的输入值2.检查梯度3.消融实验4.使用最短的时间5.静下心来写在最前面之前把seq2seq+attention
是Yu欸·2023-11-13 14:21

Linux环境配置

在进行Linux环境编辑的时候，当时编辑会话的时候突然退出了，进来再配置/etc/profile出错了报错代码E325:ATTENTIONFoundaswapfilebythename".profile.swp"ownedby
Eliauk_Doubling·2023-11-13 13:57

YOLOV5----修改损失函数-SE

、yolov5s.yaml及添加SE.py一、SE.pyimportnumpyasnpimporttorchfromtorchimportnnfromtorch.nnimportinitclassSEAttention
weixin_44119674·2023-11-13 11:46

深度学习笔记--基于C++手撕self attention机制

目录1--selfattention原理2--C++代码3--拓展3-1--maskselfattention3-2--crossattention1--selfattention原理直观来讲，就是每个
晓晓纳兰容若·2023-11-13 01:50

Chatglm2-6b模型解析

模型参数Chatglm2-6b模型参数包括28个GLM层（由MLP和自注意力组成），注意力的头数为32，采用Multi-QueryAttention，隐藏层层数28。
hjyai94·2023-11-13 00:27

transfomer模型——简介，代码实现，重要模块解读，源码，官方

一、什么是transfomerTransformer是一种基于注意力机制（attentionmechanism）的神经网络架构，最初由Vaswani等人在论文《AttentionIsAllYouNeed
一路向前，积极向上·2023-11-12 22:43

llama.cpp 源码解析

原文出自这里：CodeLearner0前言1代码结构&调用流程1.1代码结构1.2调用流程2逐算子解析2.1AttentionBlock2.1.1rms\_norm\_f322.1.2LinearLinear
mingqian_chu·2023-11-12 16:48

Hugging Face高性能技术五：Transformer高效推断（bitsandbytes、FlashAttention、 BetterTransformer）

文章目录一、TorchScript（CPU)二、IPEXgraphoptimization（IntelCPU）三、Optimum3.1安装3.2CPU推理3.3GPU推理四、模型量化（GPU）4.1背景4.2基础量化技术4.3LLM.int8()：大语言模型的零退化矩阵乘法4.3.1算法4.3.2实验4.4使用bitsandbytes量化模型（Accelerate0.24）4.4.1安装依赖4.4
神洛华·2023-11-12 13:16

BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal论文阅读

空间上，用cross-attention让每个BEVquery从roiacrosscameraviews中提取空间特征；时间上，用self-attention循环融合历史BEV信息。
北极与幽蓝·2023-11-12 13:36

Transforme原理--全局解读

文章目录作用全局解读作用Transformer最初设计用于处理序列数据，特别在NLP(自然语言处理)领域取得了巨大成功全局解读Transformer来源于谷歌的一篇经典论文AttentionisAllyouNeed
快苏排序OAO·2023-11-12 07:40

深度学习经典和最新模型

.深度学习基础-线性神经网络，多层感知器2.卷积神经网络-lenet，alexnet，vgg，inception，resnet3.循环神经网络-RNN，GRU，LSTM,seq2seq4.注意力机制-attention
钟逸0822·2023-11-12 06:17
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他