attention

StripedHyena 模型介绍

发明背景(1)Transformer的局限性Transformer模型因其自注意力机制（Self-Attention）在自然语言处理（
qq_27390023·2025-02-11 08:51

Transformer 的辉煌与大模型方向确立，点燃AGI之火把

技术壁垒：模型，技术，开源CUDA壁垒：PTX编程更加底层，大量中国硬件公司，可以适配Transformer架构的奠基2017年，Vaswani等人发表了开创性论文《AttentionisAllY
dingcb168·2025-02-11 07:47

1.1 Attention机制终极指南：从数学推导到Transformer实战，解密大模型核心引擎

Attention机制终极指南：从数学推导到Transformer实战，解密大模型核心引擎引言：人脑如何启发AI革命？
少林码僧·2025-02-10 19:49

【电力负荷预测】时间卷积双向门控循环单元融合注意力机制TCN-BiGRU-Attention负荷多变量时间序列预测【含Matlab源码 4752期】

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。更多Matlab仿真内容点击Matlab图像处理（进阶版）路径规划（Matlab）神经网络预测与分类（Matlab）优化求解（Matlab）语音处理（Matlab）信号处理（Matlab）车间调度
Matlab领域·2025-02-10 00:03

多头注意力机制的创新优化：MLA架构解析

摘要MLA（Multi-headLatentAttention）架构是对Transformer模型中多头注意力（MHA）结构的创新优化，旨在提高推理阶段的效率并降低资源消耗。
耶耶Norsea·2025-02-09 23:22

CNN-day11-注意力机制

1注意力认知AM：AttentionMechanism，注意力机制。注意力机制是一种让模型根据任务需求动态地关注输入数据中重要部分的机制。
谢眠·2025-02-09 19:26

微调大模型【已成功】

环境%%capture#InstallsUnsloth,Xformers(FlashAttention)andallotherpackages!!
捏塔·2025-02-09 18:20

[独家原创]基于五种算法优化CNN-BiLSTM-Attention的多变量时序预测8模型消融实验一键对比

目录1、代码简介2、代码运行结果展示3、代码获取1、代码简介[独家原创]基于五种算法优化CNN-BiLSTM-Attention的多变量时序预测8模型消融实验一键对比基于CPO、NRBO、FVIM、SSA
机器学习和优化算法·2025-02-09 14:52

SCI一区级 | SAO-CNN-LSTM-Mutilhead-Attention雪消融算法优化卷积长短期记忆神经网络融合多头注意力机制多变量时间序列预测Matlab实现

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机物理应用机器学习内容介绍光伏发电作为一种清洁能源，在能源转型中扮演着至关重要的角色。准确预测光伏发电量对于提高
天天Matlab代码科研顾问·2025-02-09 14:50

DeepSeek-V3 技术报告 （核心技术，接近5万字）

为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了Multi-headLatentAttention(MLA)和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了彻底验证
zhangjiaofa·2025-02-09 10:21

每日Attention学习18——Grouped Attention Gate

RethinkingU-shapedNetworkwithMulti-kernelLightweightConvolutionsforMedicalImageSegmentation模块名称GroupedAttentionGate
xiongxyowo·2025-02-09 06:54

RuntimeError: FlashAttention only supports Ampere GPUs or newer.

报错：RuntimeError:FlashAttentiononlysupportsAmpereGPUsornewer.报错原因分析：GPU机器配置低，不支持特斯拉-V100；是否有解决方案,是；方案1
福将～白鹿·2025-02-08 22:27

图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)

中实现图注意力层3.使用PyTorchGeometric实现GAT3.1在Cora数据集上训练GAT模型3.2在CiteSeer数据集上训练GAT模型3.3误差分析小结系列链接0.前言图注意力网络(GraphAttentionNe
盼小辉丶·2025-02-08 12:09

【AI原理解析】— Gemini模型

技术细节与优化预训练上下文长度注意机制5.安全性与编程能力安全性评估编程能力6.模型发布与应用发布时间应用方向7.性能评估8.数学基础8.1Transformer解码器基础8.1.1自注意力机制（Self-Attention
coolkidlan·2025-02-08 06:49

YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10引入结合SimAM和SKAttention形成全新的SKAM注意力机制和C2f_SKAM(全网独家创新)

1.SKAM介绍SKAM（SimAMandSKAttentionModule）注意力机制结合了SimAM和SKAttention的优点，能够在图像特征提取中表现出更为优异的性能。
小李学AI·2025-02-08 04:11

Flash Attention介绍

FlashAttention是一种优化Transformer模型中注意力机制的技术，旨在提高计算效率并减少内存使用。
TAICHIFEI·2025-02-08 03:38

AudioLM音频生成模型 简介

以下是关于AudioLM音频生成模型的一些关键信息：表格特点描述应用领域语音合成、音乐生成等核心技术自注意力机制（Self-AttentionMechanism）功能生成自然的语音对话、虚拟人物的配音、
低配天才·2025-02-07 18:09

【Block总结】PSA，极化自注意力|即插即用

1.论文信息标题:PolarizedSelf-Attention:TowardsHigh-qualityPixel-wiseRegression链接:arXivGitHub链接：https://github.com
AI浩·2025-02-06 05:58

深入浅出之Convolutional Block Attention Module（YOLO）

ConvolutionalBlockAttentionModule（CBAM）是一种用于增强卷积神经网络（CNN）特征表示能力的注意力机制模块。
浩瀚之水_csdn·2025-02-06 04:46

Python 实现基于高斯混合模型聚类结合CNN-BiLSTM-Attention的风电场短期功率预测

目录Python实现基于高斯混合模型聚类结合CNN-BrtiLTTM-Attentrtion的风电场短期功率预测...1项目背景介绍...1项目目标与意义...2项目挑战...2项目特点与创新...2项目应用领域...3项目效果预测图程序设计...3项目模型架构...4项目模型描述及代码示例...4项目模型算法流程图...6项目目录结构设计...7项目部署与应用...8项目扩展...9项目应该注意
nantangyuxi·2025-02-06 02:06

【YOLOv10改进[注意力]】引入2024.9的LIA(local importance-based attention,基于局部重要性的注意力) | 图像超分辨率任务

本文将进行在YOLOv10中引入2024.9.20的LIA模块魔改v10，文中含全部代码、详细修改方式。助您轻松理解改进的方法。目录一LIA二安装YOLO三魔改YOLOv101整体修改①添加python文件
Jackilina_Stone·2025-02-05 20:23

DeepSeek-R1全面超越OpenAI o1：开源大模型训练范式革新

其中，2017年Google发布的“AttentionIsAllYouNeed”论文奠定了神经网络架构的重要基础，推动了大规模语言模型（LLM）的突破。
·2025-02-05 02:16

Gaussian Splatting: 3D Reconstruction and Novel View Synthesis, a Review(3)

ABSTRACTImage-based3Dreconstructionisachallengingtaskthatinvolvesinferringthe3Dshapeofanobjectorscenefromasetofinputimages.Learning-basedmethodshavegainedattentionfortheirabilitytodirectlyestimate3Dsh
于初见月·2025-02-05 01:34

站在Developer角度看DeepSeek：技术架构解析与开发实战指南

技术全景图：从实验室到生产环境1.1模型架构演进：重新定义Transformer可能性DeepSeek的分层动态稀疏Transformer架构在以下层面实现突破：硬件感知设计：根据GPU内存带宽自动调整Attention
嵌入式Jerry·2025-02-04 15:20

Yuan 2.0-M32 是一个基于 Yuan 2.0 架构的双语混合专家 (MoE) 语言模型，旨在以更少的参数和计算量实现更高的准确率

主要创新点：注意力路由器(AttentionRouter):提出了一种新的路由器网络，考虑了专家之间的相关性，从而提高了模型的准确率。
东方佑·2025-02-04 06:01

Transformer预测模型及其Python和MATLAB实现

2017年，Vaswani等人提出的Transformer模型在《AttentionisAllYouNeed》一文中引起
追蜻蜓追累了·2025-02-04 03:10

大模型低显存推理优化-Offload技术

[大模型推理优化技术-KVCache][大模型推理服务调度优化技术-Continuousbatching]大模型显存优化技术-PagedAttention大模型低显存推理优化-Offload技术大模型优化技术
AI大模型-大飞·2025-02-03 15:04

基于CNN(一维卷积Conv1D)+LSTM+Attention 实现股票多变量时间序列预测(PyTorch版)

前言系列专栏:【深度学习：算法项目实战】✨︎涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对抗网络、门控循环单元、长短期记忆、自然语言处理、深度强化学习、大型语言模型和迁移学习。在深度学习的众多模型中，卷积神经网络（CNN）和长短期记忆网络（LSTM）因其独特的优势
矩阵猫咪·2025-02-03 12:42

Keras TypeError: unsupported operand type(s) for : 'int' and 'Dimension'

记录一个简单的bug在使用keras时，需要取出一个tensor的某一维作为下一层的维度（这里，我是在写attention）代码：dim=input.shape[1]dense=Dense(dim,activation
Yolo_C·2025-02-03 01:40

transformer之Attention机制及代码实现

目录异同点总结代码实现Self-AttentionCross-AttentionGatedSelf-AttentionGeneralizedQueryAttentionPagedAttentionSelf-Attention
AIVoyager·2025-02-02 15:30

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

Transformer的核心组件是自注意力(Self-Attention)机制，它允许模型捕捉输入序列中不同位置之间的关系。
kakaZhui·2025-02-02 13:43

Please install flash attention flash_attn

Pleaseinstallflashattentionflash_atten安装pipinstallflash_attnlinux安装成功：版本flash-attn-2.7.0.post2github如果失败
AI算法网奇·2025-02-02 12:37

自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

文章目录前言一、Seq2Seq1.1Seq2Seq的基本架构1.2Seq2Seq的框架实例二、Transformer2.1Transformer的整体架构2.2Transformer的输入2.2.1InputEmbeding2.2.2PositionalEncoder2.2.3Transformer的输入2.3Transformer的自注意力机制2.3.1注意力机制2.3.2权重矩阵WWW2.3.
这个男人是小帅·2025-02-01 18:33

【小白学AI系列】NLP 核心知识点（五）Transformer介绍

TransformerTransformer是一种基于自注意力机制（Self-AttentionMechanism）的深度学习模型，首次由Vaswani等人于2017年在论文《AttentionisAllYouNeed
Blankspace空白·2025-02-01 18:58

LLM主要类别架构

自2017年，attentionisallyouneed诞生起，transformer模型为不同领域的模型提供了灵感和启发。
大模型微调实战·2025-02-01 08:36

基于CNN-GRU-Attention混合神经网络的负荷预测方法（Python代码实现）

欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录1概述一、引言二、模型结构三、数据预处理四、模型训练与评估五、实验结果与分析六、结论与展望2运行结果3参考文献4Python代码实现及数据1概述基于CNN-GRU(convolutionalneuralnetworks-gaterecurrentunit)神经网络的电
宇哥预测优化代码学习·2025-01-30 16:22

Transformer--概念、作用、原理、优缺点以及简单的示例代码

Transformer的概念Transformer是一种基于自注意力机制的神经网络模型，最早由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。
Ambition_LAO·2025-01-29 17:23

SalFAU-Net:显著性目标检测的显著性融合注意U-Net

SalFAU-Net:显著性目标检测的显著性融合注意U-Net摘要IntroductionRelatedWorksSalFAU-Net:SaliencyFusionAttentionU-NetforSalientObjectDetection
明初啥都能学会·2025-01-28 18:29

机器学习&深度学习目录

机器学习模型机器学习笔记：Transformer_刘文巾的博客-CSDN博客attention相关机器学习笔记：attention_UQI-LIUWJ的博客-CSDN博客机器学习笔记：ELMOBERT_UQI-LIUWJ
UQI-LIUWJ·2025-01-28 09:26

Transformer架构和Transformers 库和Hugging Face

以下是两者的关系及其具体联系：1.Transformer架构背景:Transformer是由Google在2017年提出的革命性架构，基于自注意力机制（Self-Attention），解决了传统RNN和
大哥喝阔落·2025-01-28 04:50

部署通义千问Qwen模型时，遇到Flash-Attention2装不上的问题

参考Qwen2-VL最佳实践—swift2.5.0.dev0文档我不去装什么Flash-Attention2，说是要编译好几个小时，然后我这边一直报错。
清米Dummy·2025-01-28 00:49

《剖析Transformer架构：自然语言处理飞跃的幕后英雄》

自从2017年在论文《AttentionIsAllYouNeed》中被提出，Transformer便在NLP领域引发了一场革命，彻底改变了模型处理和理解人类语言的方式。
·2025-01-26 11:25

论文阅读笔记（9）——《A Practical Survey on Faster and Lighter Transformers》

1Abstract2Introductionrecurrentneuralnetworks(RNNs)longshort-termmemory(LSTM)networksequencetosequenceframeworkinter-attentionrelativeeffectivecontextlength
StriveQueen·2025-01-26 08:32

PointNet++改进策略 ：模块改进 | PointCAT， 使用交叉注意力机制来提升3D点云任务中提升模型精度

论文题目：PointCAT:Cross-AttentionTransformerforPointCloud通讯地址：南京理工大学代码地址：https://github.com/xincheng-yang
我是瓦力·2025-01-25 12:59

avr定时中断_中断及其使用 AVR

avr定时中断Interruptsarebasicallyeventsthatrequireintermediateattentionbythemicrocontroller.Whenaninterrupteventoccursthemicrocontrollerpausesitscurrenttaskandattendtotheinterruptbyexecutinganinterruptser
cumubi7552·2025-01-24 19:48

Video-P2P：通过控制 cross-attention 编辑视频

Paper:LiuS,ZhangY,LiW,etal.Video-p2p:Videoeditingwithcross-attentioncontrol[C]//ProceedingsoftheIEEE/
ScienceLi1125·2025-01-24 13:30

深入浅出之注意力机制（YOLO）

一、基本概念注意力机制（AttentionMechanism）源于对人类视觉的研究。
浩瀚之水_csdn·2025-01-24 10:37

Transformer架构原理详解：多头注意力（MultiHead Attention）

Transformer,多头注意力,Multi-HeadAttention,机器翻译,自然语言处理,深度学习1.背景介绍近年来，深度学习在自然语言处理（NLP）领域取得了显著进展。
AI大模型应用之禅·2025-01-23 02:33

Multi-Head Latent Attention: Boosting Inference Efficiency

ContentsIntroductionMethodLow-RankKey-ValueJointCompressionDecoupledRotaryPositionEmbeddingReferencesIntroduction作者提出Multi-headLatentAttention
连理o·2025-01-22 14:56

多头潜在注意力（MLA）是怎么来的，什么原理，能用简单的示例解释么

多头潜在注意力（Multi-HeadLatentAttention，简称MLA）是一种改进的注意力机制，旨在提高自然语言处理（NLP）模型的推理效率和性能。
百态老人·2025-01-22 14:55
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他