注意力汇聚

Transformer 代码剖析1 - 数据处理 （pytorch实现）

它摒弃了传统的循环结构，完全基于注意力机制，显著提高了处理序列数据的效率和性能。本文将通过对一个具体的项目代码结构进行详细分析，带领大家深入了解Transformer模型的数据处理部分。
lczdyx·2025-03-01 06:18

注意力机制中的查询Q、键K、值V与态势感知

注意力机制中的查询（Q）、键（K）、值（V）与态势感知中的态、势、感、知之间存在一定的对应关系。
人机与认知实验室·2025-03-01 06:45

注意力机制是如何提取有用信息的？

我们用通俗的方式解释注意力机制是如何通过比较查询（Query,Q）和键（Key,K）的相似度，来决定从值（Value,V）中提取多少有用信息的。
人机与认知实验室·2025-03-01 06:45

DeepSeek技术全景解析：架构创新与行业差异化竞争力

一、DeepSeek技术体系的核心突破架构设计：效率与性能的双重革新Multi-headLatentAttention(MLA)：通过将注意力头维度与隐藏层解耦，实现显存占用降低30%的同时支持4096
二进制coder·2025-03-01 01:40

【llm对话系统】大模型源码分析之 LLaMA 模型的 Masked Attention

在大型语言模型（LLM）中，注意力机制（AttentionMechanism）是核心组成部分。
kakaZhui·2025-02-28 20:03

Python 爬虫实战：在饿了么，爬取美食店铺销量与好评率数据

3.5数据存储四、分析篇4.1数据清洗4.2热门店铺分析4.3好评率分析五、总结与展望六、注意事项一、前言随着互联网的飞速发展，外卖平台已成为人们日常生活中不可或缺的一部分，而饿了么作为其中的领军者，汇聚了海量的美食店铺和消费数据
西攻城狮北·2025-02-28 18:18

2024 开放原子开发者大会活动回顾｜瀚高 IvorySQL 开源数据库在国产软件的开源实践

大会汇聚开源领域一线开发者和知名学者共同探讨开源领域所面临的关键性挑战问题、研究方向和技术难题，推动跨学科的研究和应用，加速开源文化的广泛传播，推进开源生态可持续性繁荣发展。
·2025-02-28 16:26

阿里巴巴DIN模型原理与Python实现

其核心思想是通过注意力机制动态捕捉用户历史行为中与当前候选商品相关的兴趣。
eso1983·2025-02-28 09:08

浅析 DeepSeek 开源的 FlashMLA 项目

浅析DeepSeek开源的FlashMLA项目DeepSeek开源周Day1（2025年2月24日）放出的开源项目——FlashMLA，是一款针对Hopper架构GPU高效多层级注意力(Multi-LevelAttention
X.Cristiano·2025-02-27 20:18

注意力机制（Attention Mechanism）详细分类与介绍

注意力机制（AttentionMechanism）是近年来在深度学习中非常流行的一种技术，特别是在自然语言处理（NLP）、计算机视觉等任务中，具有显著的效果。
Jason_Orton·2025-02-27 20:46

VIT（Vision Transformer）【超详细 pytorch实现

ViT的优势：ViT使用自注意力机制（Self-Attention），能够直接捕捉图像中所有patch（图像块）之间的全局关系。
周玄九·2025-02-27 17:54

游戏代练的终极武器：一站式平台，助你轻松拓展业务

海量订单，源源不断：平台汇聚大量游戏玩家，为你提供充足的订单来源，告别“无单可接”的烦恼。高效接单，省时省力：智能匹配系统，精准推送符合你技能和档期的订单，无需再为寻找客户而四处
·2025-02-27 04:47

深度学习的前沿与挑战：从基础到最新进展

深度学习的工作原理深度学习的关键技术1.卷积神经网络（CNN）2.循环神经网络（RNN）3.生成对抗网络（GAN）4.变分自编码器（VAE）5.自注意力机制与Transformer深度学习的应用1.计算机视觉
Jason_Orton·2025-02-27 03:09

云上玩转DeepSeek系列之五：实测优化16%, 体验FlashMLA加速DeepSeek-V2-Lite推理

2月25日，DeepSeek-AI面向社区开源了其技术成果FlashMLA（https://github.com/deepseek-ai/FlashMLA），这是一个面向推理优化的高效多层注意力（Multi-HeadLatentAttention
·2025-02-27 00:41

技术硬核：突出FP8、3倍速度、90%成本暴降等技术参数，强化可信度

DeepSeek近期开源项目详细分析1.FlashMLA：大模型推理效率革命技术特点：首个开源项目FlashMLA是针对英伟达Hopper架构GPU（如H800）优化的高效多头潜在注意力（MLA）解码内核
guzhoumingyue·2025-02-26 20:45

AI岗位面试指南：高频文档问题解析与应答策略

应答框架：背景与目标："项目源于客户需要将文本生成延迟从2秒压缩至800ms以内，同时保证BLEU分数不低于0.82"技术创新点："采用知识蒸馏+动态量化方案，设计分层注意力裁剪策略"量化成果："推理速度提升
阿三0812·2025-02-26 19:07

HarmonyOS Next典型布局案例：运营横幅（Banner）

在HarmonyOSNext应用开发中，运营横幅（Banner）是吸引用户注意力、展示重要信息的关键元素。而Swiper组件则是实现Banner轮播效果的得力助手。今天，咱
·2025-02-26 19:02

云原生周刊：云原生和 AI

FlashMLA是专为NVIDIAHopper架构GPU（如H100、H800）优化的高效多头潜在注意力（MLA）解码内核，旨在提升大模型推理性能，特别是针对可变长度序列进行了优化。
·2025-02-26 19:58

聚合电商 API 接口平台：打通淘宝天猫 1688 京东商品详情数据，开启商业新动能

聚合电商API接口平台的出现，犹如一座桥梁，巧妙地打通了这些主流电商平台的壁垒，实现了淘宝、天猫、1688、京东商品详情数据的汇聚，为商业领域带来了全新的发展
数据捕手19970108018·2025-02-26 15:40

大模型知识蒸馏：技术突破与应用范式重构——从DeepSeek创新看AI基础设施演进路径

最新研究表明，知识传递已从单纯的输出层模仿，发展到注意力模式迁移（AttentionTransfer）、隐层特征对齐（H
大模型服务器厂商·2025-02-26 13:20

Python 爬虫实战案例 - 获取BOSS直聘网招聘职位信息

BOSS直聘作为国内知名的在线招聘平台，汇聚了海量的职位资源，涵盖各行各业、各个层级。
西攻城狮北·2025-02-26 02:03

Code Less, Create More丨AI FOR CODE 创意挑战赛即将开幕！

为促进AI编程技术交流与创新思维的碰撞，稀土掘金联合Trae共同发起【AIFORCODE创意挑战赛】，汇聚来自不同背景、不同经验的开发者，共同探索AI与编程结合的创意边界。扫码预约直播3月3日18:0
小小宇宙中微子·2025-02-25 23:12

【YOLOv11改进[注意力]】引入YOLOv12的A2C2f模块改进v11

目录一YOLOv121区域注意力(AreaAttention)2R-ELAN(残差高效层聚合网络)3架构优化4实验二魔改YOLOv111整体修改
Jackilina_Stone·2025-02-25 19:20

SPIE出版|2025年遥感与信息技术学术会议(RSIT2025)

RSIT2025旨在汇聚领先的研究人员、工程师和行业专家，共同探讨遥感技术及其与尖端信息技术的融合最新进展。遥感技术是通过间接方式获取地球表面信息的科学，自诞生以来已经取得了显著的发展。
Conf2022·2025-02-25 17:05

Python 爬虫实战：在大众点评抓取餐厅评分数据，推荐美食打卡地

爬取更多餐厅数据3.5数据存储3.6数据分析3.6.1数据清洗3.6.2餐厅评分分析3.6.3餐厅评论数分析3.6.4餐厅人均消费分析四、总结与展望五、注意事项一、前言大众点评作为国内知名的在线餐厅评价平台，汇聚了海量的餐厅评分和用户评价
西攻城狮北·2025-02-25 17:34

月之暗面开源新一代注意力机制：处理1000万token能快16倍，已在Kimi上进行验证

❤️如果你也关注AI的发展现状，且对AI应用开发感兴趣，我会每日分享大模型与AI领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！AI在线答疑->智能检索历史文章和开源项目->尽在微信公众号->搜一搜：蚝油菜花「你的LLM还在为长文本「爆内存」？Moonshot突破性方案：千万token推理速度提升16倍！」大家好，我是蚝油菜花。当同行还在为以下问题头疼时——32k上下文跑批处
蚝油菜花·2025-02-25 15:53

即插即用的注意力机制21种

提示：谬误之处请指出更正摘要随着深度学习特别是自然语言处理领域的飞速发展，注意力机制（AttentionMechanism）已成为提升模型表现的关键技术，本文主要记录了即插即用的注意力机制结构的功能、出处及核心代码
@Mr_LiuYang·2025-02-25 14:40

GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析(二)

NLP_Matrix_Space5.2GPT-2源码实现逐行解析本节讲解GPT-2源码，gpt2.py是一个使用NumPy实现的代码，在代码中实现了GELU激活函数、softmax函数、层归一化、线性层、前馈神经网络、多头自注意力机制
段智华·2025-02-25 09:35

YOLOv12：以注意力为中心的物体检测

YOLOv12是YOLO系列中的最新版本，它引入了一种以注意力为中心的架构，旨在进一步提升物体检测的精度和速度。
那雨倾城·2025-02-24 23:21

DeepSeek-R1秘籍轻松迁移，只需原始数据0.3% | 邱锡鹏团队联合出品

DeepSeek-R1背后关键——多头潜在注意力机制（MLA），现在也能轻松移植到其他模型了！而且只需原始数据的0.3%~0.6%。
·2025-02-24 19:13

TMI‘24 | 注意力感知的非刚性图像配准加速磁共振成像

论文信息题目：Attention-AwareNon-RigidImageRegistrationforAcceleratedMRImaging注意力感知的非刚性图像配准加速磁共振成像作者：AyaGhoul
小白学视觉·2025-02-24 17:11

为什么词向量和权重矩阵dot运算就能得到想要的效果呢？

具体来说，在自然语言处理任务中，这种操作通常出现在如Transformer模型中的自注意力机制里。让我们深入探讨一下为什么这种方
cjl30804·2025-02-24 15:02

如何在Java中实现多头注意力机制：从Transformer模型入手

如何在Java中实现多头注意力机制：从Transformer模型入手大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
省赚客app开发者·2025-02-24 14:26

Transformer大模型实战 教师 学生架构

其中，Transformer模型作为一种基于自注意力机制的深度神经网络结构，因其优越的性能和灵活的适用性，在NLP任务中得到了广泛应用。然而，Trans
AI智能涌现深度研究·2025-02-24 14:19

C/C++ | 每日一练 (2)

欢迎来到张胤尘的技术站技术如江河，汇聚众志成。代码似星辰，照亮行征程。开源精神长，传承永不忘。
张胤尘·2025-02-24 14:49

如何在Java中设计高效的Transformer模型架构

Transformer的核心在于其自注意力机制和位置编码，它使得模型能够处理长距离依赖，并有效地进行序列到序列的转换。本文将介绍如何在Ja
省赚客app开发者·2025-02-24 13:43

【六】Golang 运算符

欢迎来到张胤尘的技术站技术如江河，汇聚众志成。代码似星辰，照亮行征程。开源精神长，传承永不忘。
张胤尘·2025-02-24 05:45

【四】Golang 变量和常量

欢迎来到张胤尘的技术站技术如江河，汇聚众志成。代码似星辰，照亮行征程。开源精神长，传承永不忘。
张胤尘·2025-02-24 05:15

Lua | 每日一练 (3)

欢迎来到张胤尘的技术站技术如江河，汇聚众志成。代码似星辰，照亮行征程。开源精神长，传承永不忘。
张胤尘·2025-02-24 04:41

YOLOv8与DAttention机制的融合：复杂场景下目标检测性能的增强

文章目录1.YOLOv8简介2.DAttention(DAT)注意力机制概述2.1DAttention机制的工作原理3.YOLOv8与DAttention(DAT)的结合3.1引入DAT的动机3.2集成方法
向哆哆·2025-02-23 21:22

程序员/设计师/编辑必看：高效办公工具如何缩短50%工作时间

数据：多屏环境下，调试效率可提升40%，减少因窗口堆叠导致的注意力分散问题。设计师场景：主屏设计稿+副屏素材库/参考图，支持实时预览工具快速比对方案。
涛涛讲AI·2025-02-23 19:38

深度学习革命背后：DBN、AlexNet、GAN 等神级架构，究竟藏着怎样的 AI 崛起密码？（附deepseek）

**多头潜在注意力（MLA）**3.*
universe_code·2025-02-23 15:35

【多模态处理篇二】【深度揭秘：DeepSeek视频理解之时空注意力机制解析】

一、为啥要搞视频理解这事儿咱先唠唠为啥视频理解这么重要哈。现在这互联网时代，视频那可是铺天盖地的。你刷短视频平台，看在线电影，玩游戏直播，到处都是视频。但是计算机它一开始可不懂视频里到底是啥意思，它看到的就是一堆像素点和声音信号。视频理解呢，就是要让计算机像人一样，能看懂视频里的内容。比如说，知道视频里是谁在干啥，发生了啥事儿，啥时候发生的。这在很多领域都特别有用，像安防监控，能自动识别视频里的异
再见孙悟空_·2025-02-23 07:40

单目标追踪——【Transformer】Transformer Tracking

TransformerTracking.文章侧重点这篇文章是利用Transformer设计了一个新的基于注意力的特征融合网络和一个Siamese结构的集成该融合网络的追踪方法TransT。
zz的大穗禾·2025-02-23 04:21

Transformer解析——（五）代码解析及拓展

本系列已完结，全部文章地址为：Transformer解析——（一）概述-CSDN博客Transformer解析——（二）Attention注意力机制-CSDN博客Transformer解析——（三）Encoder-CSDN
cufewxy2018·2025-02-23 04:19

VGG 改进：加入GAMAttention注意力机制提升对全局信息捕捉能力

目录1.GAMAttention注意力机制2.VGG加入GAMAttention模块3.完整代码Tips：融入模块后的网络经过测试，可以直接使用，设置好输入和输出的图片维度即可1.GAMAttention
听风吹等浪起·2025-02-23 02:36

Vgg 改进：添加EMA注意力机制高效提升跨空间学习

改进3.完整代码Tips：融入模块后的网络经过测试，可以直接使用，设置好输入和输出的图片维度即可1.EMAAttention模块EMA（ExponentialMovingAverage，指数移动平均）注意力机制是一种结合了指数移动平均和注意力机制的模型
听风吹等浪起·2025-02-23 02:36

DeepSeek核心技术 MoE（混合专家模型）

在DeepSeek-V2的基础上，采用MLA（多头潜在注意力）和DeepSeekMoE进行高效的推理和经济的训练。
baiyi666_888·2025-02-23 01:22

DeepSeek新作-Native Sparse Attention

标准注意力机制的挑战：传统的注意力机制（如Transformer中的全注意力机制）在处理长文本时面临巨大的计算成本。这是因为全注意力机制需要计算每个词与其他所有词之间的关系
数据分析能量站·2025-02-22 21:21

基于CNN-LSTM-Attention的回归预测算法（附Tensorflow框架下的代码）

基于CNN-LSTM-Attention的回归预测算法结合了卷积神经网络（CNN）、长短期记忆网络（LSTM）和注意力机制（Attention）三种强大的技术，通常用于时序数据的回归预测问题。
Jason_Orton·2025-02-22 20:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他