E325:ATTENTION

Transformer模型在自然语言处理中的实战应用

基于BERT的文本分类实战：从原理到部署一、Transformer与BERT核心原理Transformer模型通过自注意力机制（Self-Attention）突破了RNN的顺序计算限制，BERT（BidirectionalEncoderRepresentationsfromTransformers
Evaporator Core·2025-04-12 11:47

Windows编译Flash-attention模块

8.9.7,git=2.47.1，cmake=4.0.0-rc4，ninja=1.12.1,vs_buildTools=17.4.21,cl=19.34.31948,torch=2.3.1编译flash-attention
m0_52111823·2025-04-12 05:59

Prompt-to-prompt image editing with cross attention control

arxiv.org/abs/2208.01626Code:https://github.com/google/prompt-to-prompt文章目录1.Introduction2.Method2.1Cross-attentionintext-conditionedDiffusi
小毛激励我好好学习·2025-04-12 01:04

大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合

大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合引言自2017年"AttentionIsAllYouNeed"论文横空出世，Transformer架构便以其卓越的性能重塑了自然语言处理乃至更广泛的
流云雲·2025-04-11 18:18

从编码器和词嵌入开始：Transformer架构详解（上）-ChatGPT4o作答+王木头学科学阅读理解

它的核心思想是通过自注意力机制（self-attention）捕捉序列中的长程依赖关系，完全摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）中的顺序计算方式，因此具有极大的并行计算优势，并且能够处理更长的输入序列
部分分式·2025-04-11 01:31

大模型架构演进：从Transformer到Mixture of Experts（MoE）

1.Transformer架构基础1.1Transformer架构原理Transformer架构是大模型发展的重要基石，其核心原理基于自注意力机制（Self-AttentionMechanism）。
学习ing1·2025-04-10 23:13

在VSCode终端中安装Gulp包出现 * package is looking for funding run `npm fund..和无法加载文件，在此系统上禁止运行脚本的错误提示一步到位解决

刚刚在学习Gulp工具的时候，在VSCode中使用终端安装包却出现以下错误提示：错误提示1：highseverityvulnerabilitiesToaddressissuesthatdonotrequireattention
一杯水果茶·2025-04-09 23:04

Transformer 架构详解

Transformer架构是由AshishVaswani和他的同事们在2017年的论文《AttentionisAllYouNeed》中首次提出的。
培根芝士·2025-04-09 09:06

【NLP】Transformer网络结构（2）

一、Transformer整体架构Transformer由Encoder和Decoder堆叠组成，每个Encoder/Decoder层包含以下核心模块：Encoder层：Multi-HeadSelf-Attention
油泼辣子多加·2025-04-08 15:41

paperwithcode排行

p=attention-based-point-cloud-edge-sampling
妄想出头的工业炼药师·2025-04-08 13:00

PyTorch 实现图像版多头注意力（Multi-Head Attention）和自注意力（Self-Attention）

本文提供一个适用于图像输入的多头注意力机制（Multi-HeadAttention）PyTorch实现，适用于ViT、MAE等视觉Transformer中的注意力计算。
AIGC_增益·2025-04-07 17:46

llama.cpp 和 vLLM 的详细对比分析

/树莓派）企业级高性能推理，优化GPU吞吐量和显存管理技术栈C++实现，支持多级量化（1.5-bit到8-bit）和跨平台指令集优化（ARM/x86/Apple）Python/CUDA，基于PagedAttention
MC数据局·2025-04-06 23:53

Stable Diffusion 中 Cross Attention 实现原理解析（含代码讲解）

在StableDiffusion的U-Net中，CrossAttention是将文本提示与图像特征对齐融合的关键模块，本文将结合一段Python实现代码，逐行解释其原理。
AIGC_增益·2025-04-06 13:50

RNN，LTSM和GRU原理

（一）tensorflow入门笔记（二）RNN，LSTM和GRU原理（三）attention机制（四）seq2seq实例详解##RNNRNN主要用来处理当样本是一定时间序列的情况，例如一段语音，一串文本等等
thormas1996·2025-04-06 01:31

LLM 优化技术(4)——flash_attention 原理

论文地址：FlashAttention:FastandMemory-EfficientExactAttentionwithIO-Awareness如上图所示，Flash-attention采用了矩阵分块和算子融合
哦豁灬·2025-04-05 22:37

时间序列预测 | Python实现Attention-Transformer时间序列预测

main.pyimportargparsefromcollectionsimportdefaultdictfromdataset_TSAT_ETTm1_48importgenerate_ETTm1_datafromdataset_graphimportconstruct_TSAT_dataset,graph_collate_func_TSAT_normalization_requireimport
前程算法屋·2025-04-05 13:40

YOLOv11模型改进-注意力-引入单头自注意力Single-Head Self-Attention（SHSA）解决小目标、遮挡

在计算机视觉领域，目标检测一直是一个重要的研究方向。近年来，YOLO（YouOnlyLookOnce）系列模型凭借其高效的实时检测能力，成为了业界的标杆。最新发布的YOLOv11在前几代模型的基础上进行了多项改进。而单头自注意力(SHSA)作为一种高效的注意力机制，也在视觉任务中展现了其独特的优势。其通过在输入通道的一部分上应用单头注意力来减少计算冗余，同时保留全局和局部信息的结合，从而提高了效率
一勺汤·2025-04-04 08:26

ECA注意力机制详解

一、ECA注意力机制详解ECA（EfficientChannelAttention）注意力机制是一种轻量级的通道注意模块，旨在通过简单而高效的方式增强模型对于不同特征通道之间依赖关系的学习能力。
浩瀚之水_csdn·2025-04-04 07:53

大模型推理框架

vLLMGitHub:https://github.com/vllm-project/vllm简介vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量
兔兔爱学习兔兔爱学习·2025-04-03 13:27

transformer结构原理

Attention（注意力机制）：Attention机制允许模型为输入序列中的每个位置分配不同的权重，用以关注输入序列中不同位置的信息。
兔兔爱学习兔兔爱学习·2025-04-03 12:20

Transformer理解

Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Vaswani等人在2017年的论文《AttentionIsAllYouNeed》中首次提出。
慢慢变·2025-04-02 22:44

BERT与Transformer到底选哪个-下部

1.1起源故事：Google的"技术双子星"2017年，GoogleBrain团队在《AttentionisAllYouNeed》中发布了Transformer架构，就像突然给AI界扔了个"核弹级"外卖保温箱
TGITCIC·2025-04-02 11:00

深度学习处理文本（8）

Transformer由AshishVaswani等人的奠基性论文“AttentionIsAllYouNeed”4引入。这篇论文的要点就在标题之中。
yyc_audio·2025-04-02 10:52

NLP 45、【Attention is all you need】模型代码实现及应用

目录一、【Attentionisallyouneed】代码实现1.Modules.pyⅠ、类的定义Ⅱ、初始化方法Ⅲ、前向传播代码运行流程Ⅳ、完整代码2.SubLayers.pyⅠ、多头注意力机制MultiHeadAttention①
L_cl·2025-04-01 18:56

基于核选择融合注意力机制TCN-MTLATTENTION-MAMBA模型（Python\matlab代码）

首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！需要完整代码可私信或评论！本方案可用于医疗、金融、交通、零售、光伏功率预测、故障检测等领域！目录首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！需要完整代码可私信或评论！本方案可用于医疗、金融、交通、零售、光伏功率预测、故障检测等领域！模型组成部分模型结构图模块原理及作用Pyth
清风AI·2025-04-01 05:25

让AI决策透明：把深度学习算法变为可解释性的方法

决策透明：深度学习在授信额度中的可解释性探索可解释性与透明度的提升1.局部可解释性方法（LIME&SHAP）2.特征重要性（FeatureImportance）3.集成方法与解释模型的组合4.注意力机制（AttentionMechanism
搞技术的妹子·2025-03-31 18:07

一文读懂「Transformer」算法模型

资料：一文读懂「Attention」注意力机制一、什么是Transformer？
朱晓霞AI·2025-03-31 08:51

vLLM：高性能大语言模型推理框架源码解析与最佳实践

基本用法核心调用流程分析3.1.总体调用链路概述3.2.核心组件与类层次结构3.3.初始化阶段详细流程3.4.推理阶段详细流程3.5.完整调用链路示例3.6.关键调用路径总结vLLM关键工作机制4.1.PagedAttention
gfengwong·2025-03-30 11:29

Ollama v0.6.3正式发布！Gemma 3长上下文推理速度飙升，还有这些硬核优化！

核心更新亮点：Gemma3长上下文性能暴增新增滑动窗口注意力（SlidingWindowAttention）优化，长文本推理速度更快，内存分配更高效，尤其适合处理超长文档或代码。加载速度提升Gem
福大大架构师每日一题·2025-03-30 08:38

EGA边缘引导注意力：有效保留高频边缘信息，提升分割精度，助力高效涨点

MEGANet:Multi-ScaleEdge-GuidedAttentionNetworkforWeakBoundaryPolypSegmentation论文地址：https://arxiv.org/
一只小小的土拨鼠·2025-03-30 03:37

YOLOv12即插即用--DeformableAttention2D

而DeformableAttention通过仅关注目标周围的一小部分关键采样点，有效降低计算复杂度，同时提高模型的检测效率。
辛勤的程序猿·2025-03-29 07:21

YOLO11改进|YOLO11中引入注意力和卷积融合模块CAFMAttention

目录一、【CAFMAttention】模块1.1【CAFMAttention】模块1.2【CAFMAttention】核心代码二、添加【CAFMAttention】2.1STEP12.2STEP22.3STEP32.4STEP4
如果能为勤奋颁奖·2025-03-29 07:49

DeepSeek最新成果-NSA(Native Sparse Attention)

论文地址：NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparseAttention论文翻译：原生稀疏注意力机制(NSA)：硬件对齐且可原生训练的稀疏注意力机制
X.Cristiano·2025-03-28 23:55

【SCI顶级优化】Matlab实现蜣螂优化算法DBO-CNN-LSTM-Multihead-Attention温度预测附matlab代码

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统
Matlab科研工作室·2025-03-28 11:26

SCI一区级 | Matlab实现DBO-CNN-LSTM-Mutilhead-Attention蜣螂算法优化卷积长短期记忆神经网络融合多头注意力机制多变量时间序列预测

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。内容介绍1.引言温度预测在多个领域至关重要，例如气象预报、能源管理和农业生产。传统方法通常基于线性模型或统计方法，但这些方法在处理非线性时间序列数据时存在局限性。近年来，深度学习技术在时间序列预测领域取得了显著进展，其中卷积神经网络（CNN）
matlab科研社·2025-03-28 10:23

DeepSeek详解：探索下一代语言模型

文章目录前言一、什么是DeepSeek二、DeepSeek核心技术2.1Transformer架构2.1.1自注意力机制(Self-AttentionMechanism)(a)核心思想(b)计算过程(c
小小面试官·2025-03-27 19:33

【深度学习】Self-Attention机制详解：Transformer的核心引擎

Self-Attention机制详解：Transformer的核心引擎文章目录Self-Attention机制详解：Transformer的核心引擎引言Self-Attention的基本概念为什么需要Self-Attention
烟锁池塘柳0·2025-03-26 19:05

【读论文02】时空预测-MFA-MRSTGRN

【读论文02】-Multi-relationspatiotemporalgraphresidualnetworkmodelwithmulti-levelfeatureattention:anovelapproachforlandslidedisplacementprediction
123ss09·2025-03-26 12:13

搜广推校招面经五十六

字节推荐算法一、Attention的复杂度是多少？
Y1nhl·2025-03-26 08:14

YOLOv11改进 | 注意力篇 | YOLOv11引入24年ECCV的自调制特征聚合注意力模块(SMFA)，并构建C2PSA_SMFA

1.SMFA介绍1.1摘要：基于Transformer的图像复原方法由于Transformer的自注意（self-attention，SA）特性能够更好地挖掘非局部信息，从而获得更好的高分辨率图像重建效果
小李学AI·2025-03-26 06:54

在光速的边缘：MiniMax-01的算法实现与细节解析

本文将深入探讨MiniMax-01系列模型的核心算法实现，尤其是其高效的“闪电注意力”（LightningAttention）机制及其与专家混合（MixtureofExperts,MoE）架构的结合。
步子哥·2025-03-26 02:23

PyTorch 深度学习实战（8）：Transformer 与机器翻译（基于本地中英文文本文件）

一、Transformer基础Transformer是一种基于自注意力机制（Self-Attention）的神经网络架构，由Vaswan
进取星辰·2025-03-25 18:58

基于ISSA-CNN-BiGRU-SelfAttention多变量时序预测（多输入单输出）Matlab

基于ISSA-CNN-BiGRU-SelfAttention的多变量时序预测模型研究一、引言1.1研究背景与意义在当今信息化、数字化飞速发展的时代，多变量时序预测在诸多领域都发挥着至关重要的作用。
默默科研仔·2025-03-25 09:45

论文阅读笔记——MAGICDRIVE: STREET VIEW GENERATION WITH DIVERSE 3D GEOMETRY CONTROL

几何条件编码Cross-attention：针对顺序数据，适合处理文本标记和边界框等可变长度输入。Additiveencoderbranch：对于地图等网络状规则数据，能够有效保留空间结构。
寻丶幽风·2025-03-23 22:02

vLLM 部署大模型

1介绍vLLM是来自UCBerkeley的LMSYS在LLM推理方面的最新工作（没错就是搞出Vicuna的那个group），最大亮点是采用PagedAttention技术，结合ContinuousBatching
哦豁灬·2025-03-23 05:07

毕业论文代码实验（Python\MATLAB）基于K-means聚类的EMD-BiLSTM-Attention光伏功率预测模型

一、项目背景1.1光伏功率预测意义在能源结构转型背景下（国家能源局2025规划），光伏发电渗透率已超过18%。但受天气突变、云层遮挡等因素影响，光伏出力具有显著波动性，导致：电网调度难度增加（±15%功率波动）电力市场交易风险提升光储协同控制效率降低1.2技术挑战多尺度特征耦合：分钟级辐照度变化与小时级天气模式共存非线性映射关系：气象因素与发电功率呈高阶非线性关系数据模态差异：数值天气预报(NWP
清风AI·2025-03-22 19:51

阅读理解英语

andyetitseemslikewenevergetenough.Evenwhenwehavefoundlove,itcanslipawayastimepasses.Loveisthespacious,openattentionofourawareness.Thekeytoexperiencingloveistonoticewhere
小崔的技术博客·2025-03-21 15:41

【人工智能】注意力机制深入理解

注意力机制的核心思想****二、传统序列模型的局限性****三、Transformer与自注意力机制****1.自注意力机制的数学公式****四、注意力机制的关键改进****1.稀疏注意力（SparseAttention
问道飞鱼·2025-03-21 08:09

【无标题】

在大语言模型（LLM）进行自回归（autoregressive）文本生成时，每次生成新token，都需要基于过去的上下文重新计算self-attention机制中的Key（K）和值（V）。
gs80140·2025-03-21 06:19

Multi-view graph convolutional networks with attention mechanism

摘要传统的图卷积网络关注于如何高效的探索不同阶跳数(hops)的邻居节点的信息。但是目前的基于GCN的图网络模型都是构建在固定邻接矩阵上的即实际图的一个拓扑视角。当数据包含噪声或者图不完备时，这种方式会限制模型的表达能力。由于数据的测量或者收集会不可避免的会出现错误，因此基于固定结构的图模型表达能力是不充分的。本文提出了基于注意力机制的多视图图卷积网络，将拓扑结构的多个视图和基于注意力的特征聚合策
小源er·2025-03-20 23:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他