attention

C2-3.2.1 诊断Bias（偏差） and variance(方差)——误差的两大来源+解决方案

Biasisthedifferencebetweentheaveragepredictionofourmodelandthecorrectvaluewhichwearetryingtopredict.Modelwithhighbiaspaysverylittleattentiontothe
帅翰GG·2024-01-10 06:43

Transformer-MM-Explainability

twomodalitiesareseparatedbythe[SEP]token，thenumbersineachattentionmodulerepresenttheEq.number.Eh_hhisthemean
宇来风满楼·2024-01-10 05:41

分类预测 | Matlab实现RP-LSTM-Attention递归图优化长短期记忆神经网络注意力机制的数据分类预测【24年新算法】

分类预测|Matlab实现RP-LSTM-Attention递归图优化长短期记忆神经网络注意力机制的数据分类预测【24年新算法】目录分类预测|Matlab实现RP-LSTM-Attention递归图优化长短期记忆神经网络注意力机制的数据分类预测
机器学习之心·2024-01-10 04:07

Attention Is All You Need--Transformer

1.Abstract[作者是基于机器翻译的任务提出了该模型，现在该模型在语言处理、图像处理等领域广泛应用。]作者提出了一个新的简单的网络架构，叫做Transformer。这个架构只需要运用注意力机制，而不需要用RNN和CNN，通过减少模型参数简化了模型。作者通过实验同时说明了该架构的适应性较好。2.Conclusion①在本文的工作中，transformer是第一个只运用注意力机制，而不采用RNN
sweet_Mary·2024-01-09 20:37

Transformer论文--Attention Is All You Need

原文链接：AttentionisAllyouNeed文章概述目前主要的序列传导模型基于复杂的循环或卷积神经网络，包括encoderandadecoder。
pepsi_w·2024-01-09 20:37

Attention Is All You Need (Transformer 原文)

最近按顺序读Transformer系列经典论文最前面是论文翻译，中间是背景+问题+方法步骤+实验过程，最后是文中的部分专业名词介绍（水平线分开，能力有限，部分翻译可能不太准确）摘要主要的序列转导模型基于复杂的循环或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构Transformer，它完全基于注意力机制，完全摒弃了递归和卷积。在两
Y蓝田大海·2024-01-09 20:36

【读文献】Attention is all your need - Transformer

题目：AttentionIsAllYouNeed主要作者：AshishVaswani，NoamShazeer主要机构：GoogleBrain，GoogleResearch发表时间：2017年1.要解决什么问题
无名草鸟·2024-01-09 20:05

论文阅读-Attention Is All You Need阅读报告-机器翻译

1Introduction本文是2017年底谷歌大脑发表的文章，针对自然语言处理领域的经典问题-机器翻译，提出了一个只基于attention的结构来处理序列模型相关的问题，该模型被称为“Transformer
完美屁桃·2024-01-09 20:05

Attention Is All You Need----Transformer 论文解读

AttentionIsAllYouNeed1.Introduction2.Background3.ModelArchitecture3.1Encoder-DecoderStacks3.2Attention3.2.1ScaledDot-ProductAttention3.2.2Multi-HeadAttention3.2.3ApplicationsofAttentioninourModel3.3Po
FutureForMe@·2024-01-09 20:35

KOL投放指南丨小红书如何进行品牌投放？

小红书的投放逻辑——消费决策影响链路小红书社区发展至今，已经潜移默化地形成一套完整的品牌种草—决策—拔草链路，即AISAS营销理论，从Attention（注意）到Inter
bumaBenz·2024-01-09 20:55

论文阅读 Attention is all u need - transformer

1摘要1.1核心2模型架构2.1概览2.2理解encoder-decoder架构2.2.1对比seq2seq，RNN2.2.2我的理解3.Sublayer3.1多头注意力multi-headself-attention3.1.1
highoooo·2024-01-09 20:00

QCN6274 and QCN9274: functional differences and application areas of wireless chips

Inthefieldofwirelesscommunications,QCN6274andQCN9274arechipsthathaveattractedmuchattention.Theyhavesignificantdifferencesinsupportedwirelessstandards
Wallytech·2024-01-09 12:02

huggingface实战bert-base-chinese模型(训练+预测)

文章目录前言一、bert模型词汇映射说明二、bert模型输入解读1、input_ids说明2、attention_mask说明3、token_type_ids说明4、模型输入与vocab映射内容二、huggingface
tangjunjun-owen·2024-01-09 11:50

vLLM皇冠上的明珠：深入浅出理解PagedAttention CUDA实现

PagedAttention（PA）技术是vLLM的基石，以它为创新点的论文发表在系统顶会SOSP2023上。论文题目：EfficientMem
PaperWeekly·2024-01-09 11:17

一文读懂「Attention」注意力机制

前言：Attention是很多内容的重点，因此需要详细了解一下Attention的内部逻辑，一般情况attention分为很多种类型，不同的技术涉及不同类型，这里单介绍Attention的基本逻辑。
女王の专属领地·2024-01-09 11:45

图像融合论文阅读：CrossFuse: 一种基于交叉注意机制的红外与可见光图像融合方法

@article{li2024crossfuse,title={CrossFuse:Anovelcrossattentionmechanismbasedinfraredandvisibleimagefusionapproach
图像强·2024-01-09 08:18

linux内核设计与实现读书笔记 第六章

什么是中断Abettersolutionistoprovideamechanismforthehardwaretosignaltothekernelwhenattentionisneeded.Thismechanismiscalledaninterrupt
zhanglehes·2024-01-09 07:45

［ZKP］Schnorr Protocol Implementation

SchnorrProtocolImplementationbyPythonTheSchnorrProtocolisacryptographicprotocolusedforsecurecommunicationanddigitalsignatures.ItwasoriginallyproposedbyClaus-PeterSchnorrin1989andhasgainedattentionfori
Simba17·2024-01-09 06:35

论文解读：CBAM: Convolutional Block Attention Module--ECCV2018

摘要：作者提出一个ConvolutionalBlockAttentionModule(CBAM)。
jscdw·2024-01-09 04:08

The Annotated Transformer的中文教程

TheAnnotatedTransformerAttentionisAllYouNeedv2022:AustinHuang,SurajSubramanian,JonathanSum,KhalidAlmubarak
技术宅学长·2024-01-08 17:26

多模态推荐系统综述：二、特征交互 Fusion

UVCAN:User-VideoCo-Attention
南宫凝忆·2024-01-08 16:20

组合注意：解耦搜索与检索

CompositionalAttention:DisentanglingSearchandRetrieval18Oct2021ICLR2022https://arxiv.org/abs/2110.09419SarthakMittal
Valar_Morghulis·2024-01-08 14:38

2023.12.17周报

目录摘要ABSTRACT一、文献阅读1、题目2、摘要3、网络架构4、文献解读一、Introduction二、创新点三、实验过程四、结论二、Self-Attention一、如何运用自注意力机制？
Nyctophiliaa·2024-01-08 14:34

2023.12.24周报

、创新点4、模型整体架构5、文章解读1、Introduction2、相关工作3、实验4、结论二、深度学习一、GRU前向传播二、GRU反向传播三、GRU代码实现总结摘要本周，我阅读了一篇题目为Self-AttentionConvLSTMforSpatiotemporalPrediction
Nyctophiliaa·2024-01-08 14:34

2024.1.7周报

目录摘要ABSTRACT一、文献阅读1、题目2、摘要3、模型架构4、文献解读一、Introduction二、创新点三、实验过程四、结论二、深度学习知识一、从Encoder-Decoder框架中理解为什么要有Attention
Nyctophiliaa·2024-01-08 14:03

经典论文之（三）——Transformer

目录绪论背景模型架构编码器解码器注意力层ScaledDot-ProductAttentionMulti-HeadAttentionPosition-wiseFeed-ForwardNetworks--前馈神经网络
维斯德尔·2024-01-08 12:41

Conv2Former：一种transformer风格的卷积特征提取方式

一、前言昨天读到了一篇有意思的文章，文章提出通过利用卷积调制操作来简化self-attention。还证明了这种简单的方法可以更好地利用卷积层中嵌套的大核(≥7×7)。
夏天是冰红茶·2024-01-08 07:54

2023/11/5周报

文章目录摘要Abstract文献阅读题目创新点方法框架数据收集和实验设置实验结果Conclusion深度学习Self-attentionSelf-attention的优势Self-attention的原理
user_s1·2024-01-08 06:37

学习周报2.26

文章目录前言文献阅读摘要方法结果深度学习Encoder-Decoder（编码-解码）信息丢失的问题Attention机制总结前言Thisweek,Ireadanarticleaboutdailystreamflowprediction.Thisstudyshowstheresultsofanin-depthcomparisonbetweentwodifferentdailystreamflowpr
hehehe2022·2024-01-08 06:36

第三十七周周报：文献阅读+掩码、多头注意力机制+位置编码

目录摘要Abstract文献阅读：基于注意力的LSTM大地震预报网络现有问题提出方法基于注意力的LSTM网络研究实验实验目的数据集评估指标数据预处理和特征提取结果讨论MaskedSelf-Attention
m0_66015895·2024-01-08 06:35

Transformer - Attention is all you need 论文阅读

虽然是跑路来NLP，但是还是立flag说要做个project，结果kaggle上的入门project给的例子用的是BERT，还提到这一方法属于transformer，所以大概率读完这一篇之后，会再看BERT的论文这个样子。在李宏毅的NLP课程中多次提到了RNN,CycleRNN,LSTM也简单在这里做一个总结（其实在课程上是在ML的课上介绍的）。因此这里大概分成几个部分：1.重听ML中RNN和LS
Karen_Yu_·2024-01-08 05:49

第二十八回 ADHD

“ADHD”是注意力缺陷多动障碍的英文缩写（Attention-Deficit/HyperactivityDisorder）它还有一个耳熟能详的名字----多动症。
沙漠中的沙棘花·2024-01-08 03:09

Jelly Explosion-Emit stars

Inthegame,youshouldexplodethegreenjelly.Afterallthegreenjellyisexploding,youcanpassthislevel.Payattentiontothepositionofthejelly
Green_Mage·2024-01-07 22:52

工智能基础知识总结--什么是Transformer

Transformer是什么Transformer是Google在2017年的论文《AttentionIsAllYouNeed》中所提出的一种Seq2Seq的模型，该模型完全的抛弃了以往深度学习所使用的
北航程序员小C·2024-01-07 20:49

深度学习中的稀疏注意力

稀疏注意力文章目录一、稀疏注意力的特点1.单头注意力（Single-HeadAttention）2.多头注意力（Multi-HeadAttention）3.稀疏注意力（SparseAttention）二
JOYCE_Leo16·2024-01-07 20:15

Residual Attention Network for Image Classification

图中AttentionModule是注意力模块。在AttentionModule模块中上面的通道是主干网络，下面是注意力mask网络。为保留原有的特征，mask和主干网络的融合有两个操作。
yanghedada·2024-01-07 19:14

【BBuf的CUDA笔记】十一，Linear Attention的cuda kernel实现补档

0x0.前言填一下【BBuf的CUDA笔记】十，LinearAttention的cudakernel实现解析留下的坑，阅读本文之前需要先阅读上面这篇文章。
just_sort·2024-01-07 18:02

《4D卓越团队》 AMBR习书报告 第11章

Attention我关注的内容4D系统除了关注“故事情节”，还关注团队成员的情绪：高兴：庆祝所取得的成就；以幽默笑话开始会议愤怒：恰当地利用愤怒，激发斗志悲伤：哀悼损失，调整情绪，可以化怨恨指责为平静害怕
成长教练继哥·2024-01-07 13:39

主流大语言模型从预训练到微调的技术原理

大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D并行、零冗余优化器ZeRO、CPU卸载技术ZeRo-offload、混合精度训练、激活重计算技术、FlashAttention、PagedAtten
智慧医疗探索者·2024-01-07 10:32

Missing Data Repairs for Traffic Flow With Self-Attention Generative Adversarial Imputation Net

MissingDataRepairsforTrafficFlowWithSelf-AttentionGenerativeAdversarialImputationNet论文地址摘要：随着传感器技术的快速发展
llddycidy·2024-01-07 07:02

Transformer 的双向编码器表示 (BERT)

一、说明本文介绍语言句法中，最可能的单词填空在self-attention的表现形式，以及内部原理的介绍。
无水先生·2024-01-07 02:59

【自然语言处理】Transformer-XL 讲解

只是一个堆叠了自注意力层的BPTT语言模型，并不是Transformer原始论文中提到的编码器-解码器架构，也不是原始Transformer中的编码器部分或者解码器部分，根据其大致实现可以将其理解为丢弃crossattention
不牌不改·2024-01-06 23:24

PyTorch Tutorial

本文作为博客“Transformer-Attentionisallyouneed论文阅读”的补充内容，阅读的内容来自于https://pytorch.org/tutorials/intermediate
Karen_Yu_·2024-01-06 22:37

Transformer架构和对照代码详解

第⼀个⼦层是多头⾃注意⼒（multi-headself-attention）汇聚；第⼆个⼦层是基于位置的前馈⽹络（po
科学禅道·2024-01-06 13:48

ClickHouse 为什么这么快？

摘录如下：AttentiontoLow-LevelDetailsButmanyotherdatabasemanagementsystemsusesimilartechniques.WhatreallymakesClickHousestandoutisattentiontolow-leve
maray·2024-01-06 13:40

【论文阅读笔记】两篇完整模态脑瘤分割

3DCATBraTS:ChannelattentiontransformerforbraintumoursemanticsegmentationElBadaouiR,CollEB,PsarrouA,etal
cskywit·2024-01-06 09:57

大模型加速库flash-attention的安装教程

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了大模型加速库flash-attent
爱编程的喵喵·2024-01-06 09:45

卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）对比

我们将比较能够解决上述问题的三种常用方法：卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention），从三个维度比较这三种架构：计算复杂度、顺序操作和最大路径长度。
科学禅道·2024-01-06 07:56

2023/12/31周报

文章目录摘要Abstract文献阅读题目引言模型与方法多层感知器神经网络MLPLSTMGRUAE-BiGRU-Swish神经网络实验实验过程评估标准实验结果深度学习Self-attention背景作用实现方式简单
user_s1·2024-01-06 07:25

CEEMDAN +组合预测模型(CNN-Transformer + ARIMA)

Holt-Winters、SARIMA模型的分析与比较-CSDN博客风速预测（一）数据集介绍和预处理-CSDN博客风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客风速预测（三）EMD-LSTM-Attention
建模先锋·2024-01-06 07:53
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他