attention 第11页

2024/1/7周报

user_s1·2024-01-06 07:19

Opening a meeting

OpeningameetingOK,everyone.CouldIhaveyourattention?Doeseveryonehaveacopyoftheagenda?

AsaGuo·2024-01-06 07:33

nlp中的transformer中的mask

第1个地方就是在上一篇文章用介绍到的AttentionMask，用于在训练过程中解码的时候掩盖掉当前时刻之后的信息；第2个地方便是对一个batch中不同长度的序列在Padding到相同长度后，对Padding

不当菜鸡的程序媛·2024-01-06 05:27

李宏毅深度学习(五):Conditional Generation by RNN & Attention

最近看了李宏毅老师的深度学习视频课程，真的是讲得十分细致，从头到尾看下来一遍，对深度学习模型有了一个基本的认识，趁着脑子还能记着一些东西，赶紧把学到的东西记录下来，以备后用。视频地址：https://www.bilibili.com/video/av9770302/from=search&seid=905421046757750252ppt地址：http://speech.ee.ntu.edu.t

文哥的学习日记·2024-01-06 00:07

CAVER: Cross-Modal View-Mixed Transformer for Bi-Modal Salient Object Detection

3、方法：3.1网络的总体框架图：3.2Transformer-basedInformationPropagationPath(TIPP)3.3Intra-Modal/Cross-ScaleSelf-Attention

一只懒洋洋·2024-01-05 21:08

Pointnet++改进：在特征提取模块加入SegNext_Attention注意力机制，卷积注意力打造高性能点云分割模型

2.本篇文章对Pointnet++特征提取模块进行改进，加入SegNext_Attention注意力机制，提升性能，实现有效涨点。3.专栏持续更新，紧随最新的研究内容。

AICurator·2024-01-05 17:27

YUAN 2.0: A Large Language Model with Localized Filtering-based Attention

本文是LLM系列文章，针对《YUAN2.0:ALargeLanguageModelwithLocalizedFiltering-basedAttention》的翻译。

UnknownBody·2024-01-05 13:34

分类预测 | Matlab实现RP-CNN-LSTM-Attention递归图优化卷积长短期记忆神经网络注意力机制的数据分类预测【24年新算法】

分类预测|Matlab实现RP-CNN-LSTM-Attention递归图优化卷积长短期记忆神经网络注意力机制的数据分类预测【24年新算法】目录分类预测|Matlab实现RP-CNN-LSTM-Attention

机器学习之心·2024-01-05 04:44

SCI一区级 | Matlab实现KOA-CNN-GRU-Mutilhead-Attention开普勒算法优化卷积门控循环单元融合多头注意力机制多变量多步时间序列预测

SCI一区级|Matlab实现KOA-CNN-GRU-Mutilhead-Attention开普勒算法优化卷积门控循环单元融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab实现KOA-CNN-GRU-Mutilhead-Attention

机器学习之心·2024-01-05 04:13

BEVFormer | ECCV2022

BEVFormer-知乎BEVFormer的PipelineBackbone+Neck（ResNet-101-DCN+FPN）提取环视图像的多尺度特征；论文提出的Encoder模块（包括TemporalSelf-Attention

HHHHGitttt·2024-01-05 01:19

「4D团队教练」004／AMBR-4D团队教练的核心之焦点管理（上）

AMBRA-Attention/注意力东方人讲“心想事成，念念不忘，必有回响”

吴宇飞4D团队教练·2024-01-04 19:46

EI级 | Matlab实现TCN-BiGRU-Multihead-Attention多头注意力机制多变量时间序列预测

EI级|Matlab实现TCN-BiGRU-Multihead-Attention多头注意力机制多变量时间序列预测目录EI级|Matlab实现TCN-BiGRU-Multihead-Attention多头注意力机制多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍

机器学习之心·2024-01-04 17:28

NLP中的Tokenization方法——BPE（Byte-Pair Encoding）

Character-LevelBPE)3.3Byte-levelBPE我们知道很多NLP模型（Transformer,Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-HeadSelfAttentionLayer

云从天上来·2024-01-04 16:44

2020-12-28

onpurposedosomethingintentionally[onpurpose]2.bymistake/byaccident意外地偶然地错误地3.Howhasyourdaybeentoday.4.WhatImeantisIwishIhadpaidmoreattentiontomysuitcase

半盏清茶_6300·2024-01-04 12:07

精读Unit 4 视听说Unit 3

从本单元中我学到的最重要的理念（精读和视听说分别总结）精读：Chineseeducationtendto"teachingbyholdinghishand",butAmericanpositionismoreattentiontooriginalityandindependence.Weshouldgatherasuperiorwaytoapproacheducationthatst

王馨怡·2024-01-04 11:42

Transformer：Attention机制、前馈神经网络、编码器与解码器

文章目录Transformer中的Attention机制一、引言二、Transformer中的Attention机制1.背景介绍2.工作原理3.优势分析Transformer中的前馈神经网络一、引言二、

JOYCE_Leo16·2024-01-04 10:21

Transformer的数学原理是什么?一点思考

自注意力机制（Self-Attention）：自注意力机制是Transformer的核心组成部分，用于计算序列中各个元素之间的相互关系。

人工智能教学实践·2024-01-04 10:33

Pointnet++改进：在特征提取模块加入NAMAttention注意力机制，有效涨点

2.本篇文章对Pointnet++特征提取模块进行改进，加入NAMAttention注意力机制，提升性能。3.专栏持续更新，紧随最新的研究内容。目录1.理论介绍2.修改步骤2.1步骤一

AICurator·2024-01-04 06:17

人工智能论文通用创新点(持续更新中...)

1.自注意力机制与卷积结合论文：OntheIntegrationofSelf-AttentionandConvolution1：卷积可以接受比较大的图片的，但自注意力机制如果图片特别大的话，运算规模会特别大

十有久诚·2024-01-04 02:53

2021AAAI论文:Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation

作者及单位本文动机近年来，BERT框架被用于处理顺序数据，其核心是它的attention机制。但原始BERT框架的一个限制是它只考虑一个输入源，限制了边信息的利用。

python小白22·2024-01-04 00:16

Transformer

1.学习总结摘要：Transformer是一种神经网络结构，由Vaswani等人在2017年的论文“AttentionIsAllYouNeed”中提出，用于处理机器翻译、语言建模和文本生成等自然语言处理任务

STRUGGLE_xlf·2024-01-03 19:35

【深度学习-基础学习】Transformer 笔记

课程链接以及PPT：李宏毅Spring2021ML这篇Blog需要Self-Attention为前置知识。

CarNong_Blog·2024-01-03 18:11

【深度学习-基础学习】Self-Attention 自注意力机制笔记

本篇文章学习总结李宏毅2021Spring课程中关于Self-Attention自注意力机制相关的内容。

CarNong_Blog·2024-01-03 13:15

冥想应对焦虑

目前国际上普遍将冥想分为两大类：正念式（Mindfulness）和聚焦式（Concentrativeattention）。

洪福寿·2024-01-03 10:01

YOLOv8改进添加新型卷积注意力框架SegNext_Attention

一、SegNext论文论文地址：2209.08575.pdf(arxiv.org)二、SegNext_Attention注意力框架结构在SegNext_Attention中，注意力机制被引入到编码器和解码器之间的连接中

学yolo的小白·2024-01-03 08:32

机器学习-基于attention机制来实现对Image Caption图像描述实验

机器学习-基于attention机制来实现对ImageCaption图像描述实验实验目的基于attention机制来实现对ImageCaption图像描述实验内容1.了解一下RNN的Encoder-Decoder

septnancye·2024-01-03 08:28

01.22 sidetrack

Johnwaslookingforanenvelopeandgotsidetrackedreadingsomeoldletters.2)IwasgoingtotheparkandgotsidetrackedwithMarry.3)其他积累：Tostayontrackmeanstopayattentiontoyourgoalorpurpo

平十·2024-01-03 06:22

CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)

导入数据1.2CEEMDAN分解2数据集制作与预处理2.1划分数据集，按照8：2划分训练集和测试集，然后再按照前7后4划分分量数据2.2设置滑动窗口大小为7，制作数据集3基于CEEMADN的BiLSTM-Attention

建模先锋·2024-01-03 01:49

YOLOv5改进：在C3模块不同位置添加SegNext_Attention

3.涨点效果：D-LKAAttention注意力机制,实现有效涨点！我们提出了SegNeXt，一个简单的语义卷积网络架构分割。近年来，基于变换的语义分割模型由

AICurator·2024-01-02 21:50

注意力机制（attention mechanism）

1、注意力灵长类动物的视觉系统接收了大量的感官输入，这些感官输入远远超出了大脑能够完全处理的能力。然而，并非所有刺激的影响都是同等的。意识的汇聚和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体，例如猎物和天敌。只关注一小部分信息的能力对进化更加有意义，使人类以生存和成功。2、注意力经济自经济学研究稀缺资源分配以来，人们正处在“注意力经济”时代，即人类的注意力（大量人群的注意力）被视

科学禅道·2024-01-02 12:10

Attention机制

前置知识：RNN，LSTM/GRU提出背景Attention模型是基于Encoder-Decoder框架提出的。Encoder-Decoder框架，也就是编码-解码框架，主要被用来处理序列-序列问题。

惊雲浅谈天·2024-01-02 06:44

基于FFT + CNN - BiGRU-Attention 时域、频域特征注意力融合的轴承故障识别模型

1快速傅里叶变换FFT原理介绍第一步，导入部分数据第二步，故障信号可视化第三步，故障信号经过FFT可视化2轴承故障数据的预处理2.1导入数据2.2制作数据集和对应标签3基于FFT+CNN-BiGRU-Attention

建模先锋·2024-01-01 21:50

风速预测模型代码全家桶

模型的分析与比较_lstm增加季节性因素-CSDN博客风速预测（一）数据集介绍和预处理-CSDN博客风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客风速预测（三）EMD-LSTM-Attention

建模先锋·2024-01-01 21:50

YOLOv8中加入跨维度注意力机制注意力机制GAM，效果超越CMBA，NAM

一、GlobalAttentionMechanism论文论文地址：2112.05561.pdf(arxiv.org)二、GAM结构GAM_Attention专注于全局注意力的设计，在YOLOv8中加入GAM_Attention

学yolo的小白·2024-01-01 20:02

YOLOv8改进添加动态稀疏注意力机制BiLevelRoutingAttention

一、BiLevelRoutingAttention论文论文地址：2303.08810.pdf(arxiv.org)二、BiLevelRoutingAttention的模型结构BiLevelRoutingAttention

学yolo的小白·2024-01-01 20:30

NLP常见问题

transformer中的attention为什么scaled?

青盏·2024-01-01 17:43

Transformer笔记--注意力机制

怎么得到Attention,如何对每个词进行特征提取？

BKXjilu·2024-01-01 16:38

YOLOv8独家原创改进：SPPF自研创新 | 可变形大核注意力（D-LKA Attention），大卷积核提升不同特征感受野的注意力机制

本文自研创新改进：可变形大核注意力（D-LKAAttention）高效结合SPPF进行二次创新，大卷积核提升不同特征感受野的注意力机制。

AI小怪兽·2024-01-01 15:27

SCI一区级 | Matlab实现KOA-CNN-LSTM-Mutilhead-Attention开普勒算法优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测

SCI一区级|Matlab实现KOA-CNN-LSTM-Mutilhead-Attention开普勒算法优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab实现

机器学习之心·2024-01-01 13:49

分类预测 | Matlab实现WOA-CNN-LSTM-SAM-Attention鲸鱼算法优化卷积长短期记忆神经网络融合空间注意力机制的数据分类预测【23年新算法】

分类预测|Matlab实现WOA-CNN-LSTM-SAM-Attention鲸鱼算法优化卷积长短期记忆神经网络融合空间注意力机制的数据分类预测【23年新算法】目录分类预测|Matlab实现WOA-CNN-LSTM-SAM-Attention

机器学习之心·2024-01-01 13:19

Keras实现Transformer

导入所需的库importnumpyasnpfromkeras.modelsimportModelfromkeras.layersimportInput,Dense,Embedding,MultiHeadAttentionfromkeras.optimizersimportAdam

缘起性空、·2024-01-01 12:20

【不成熟汉化】Battle System STB Bug Fix Update and Comparing Battle Systems

It’sbeenbroughttomyattentionmultipletimesacrossthepastfewmonthsthatthere’sbeenbugswithSTBandforcedactions.Thishasbeenfinallyfixedasoftoday

沧笙·2024-01-01 12:48

多维时序 | MATLAB实现SSA-CNN-GRU-SAM-Attention麻雀算法优化卷积网络结合门控循环单元网络融合空间注意力机制多变量时间序列预测

多维时序|MATLAB实现SSA-CNN-GRU-SAM-Attention麻雀算法优化卷积网络结合门控循环单元网络融合空间注意力机制多变量时间序列预测目录多维时序|MATLAB实现SSA-CNN-GRU-SAM-Attention

机器学习之心·2024-01-01 06:51

LLM源码系列-Baichuan2模型代码解读

主要是对modeling_baichuan.py这个文件进行分析，以下是核心的几个类的关系核心的模型结构在BaichuanModel中，是多个MHA多头Attention模块堆叠起来的Decoder架构

田小成plus·2023-12-31 23:59

Hierarchical Recurrent Attention Network for Response Generation

“HierarchicalRecurrentAttentionNetworkforResponseGeneration”，ChenXingetalhttps://arxiv.org/pdf/1701.07149

LittleTreeT·2023-12-31 19:26

具有置信度学习的困难感知注意力网络用于医学图像分割

Difficulty-AwareAttentionNetworkwithConfidenceLearningforMedicalImageSegmentation具有置信度学习的困难感知注意力网络用于医学图像分割背景贡献难点

火柴狗·2023-12-31 18:34

一种改进的平衡生成对抗网络用于视网膜血管分割

一种改进的平衡生成对抗网络用于视网膜血管分割背景贡献实验方法Symmetricequilibriumarchitecture（对称均衡架构）Multi-scalefeaturesrefineblock（多尺度特征细化模块）Attentionmecha