注意力机制

DeepSeek 使用的核心技术预测

1.大规模预训练模型架构Transformer变种与优化：基于Transformer架构进行改进，可能引入稀疏注意力机制（如Longform
eso1983·2025-02-02 18:22

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

然而，标准的自注意力机制的计算复杂度与序列长度的平方成正比，这使得它在处理长序列时效率低下。为了解决这个问题，FlashAttention被提出，它是一种高
kakaZhui·2025-02-02 13:43

YOLOv10改进策略【Neck】| HS-FPN：高级筛选特征融合金字塔，加强细微特征的检测

HS-FPN借助通道注意力机制及独特的多尺度融合策略，有效应对目标尺寸差异及特征稀缺问题。
Limiiiing·2025-02-02 10:49

使用Transformer模型实现股票走势预测：深入解析和实操案例（基于Python和PyTorch）

摘要：本文讨论了Transformer模型在股票市场预测中的应用，突出其自注意力机制在捕捉长期趋势和周期性变化方面的优势。文章详细介绍了模型理论、架构，并分析了其在股价预测中的优势和挑战。
AI_DL_CODE·2025-02-02 09:44

Unet 改进：在encoder和decoder间加入TransformerBlock

TransformerBlock是一个由两个子组件组成的构建块：多头注意力机制和前
听风吹等浪起·2025-02-01 23:11

注意力机制

1.Seq2Seq模型加入注意力机制1.1Seq2Seq模型编码器：将长度可变的输入序列转换成形状固定的上下文变量c,并将输入序列的信息在该上下文变量中进行编码。
追光少年3322·2025-02-01 19:33

自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

Transformer2.1Transformer的整体架构2.2Transformer的输入2.2.1InputEmbeding2.2.2PositionalEncoder2.2.3Transformer的输入2.3Transformer的自注意力机制
这个男人是小帅·2025-02-01 18:33

【小白学AI系列】NLP 核心知识点（五）Transformer介绍

TransformerTransformer是一种基于自注意力机制（Self-AttentionMechanism）的深度学习模型，首次由Vaswani等人于2017年在论文《AttentionisAllYouNeed
Blankspace空白·2025-02-01 18:58

YOLOv10改进，YOLOv10检测头融合DynamicHead，添加小目标检测层（四头检测）+CA注意机制，全网首发

如果我们将骨干网络的输出（即检测头的输入）视为一个三维张量，其维度为级别×空间×通道，这样的统一检测头可以看作是一个注意力学习问题，直观的解决方案是对该张量进行全自注意力机制的构建。
挂科边缘·2025-02-01 04:30

Transformer模型结构分析：Encoder、Decoder以及注意力机制详解

作者：禅与计算机程序设计艺术1.简介Transformer模型由论文[1]提出，其基本思想是使用注意力机制代替循环神经网络(RNN)或卷积神经网络(CNN)，是一种基于序列到序列(Seq2seq)的机器翻译
AI天才研究院·2025-02-01 04:59

YOLOv10改进策略【注意力机制篇】| EMA 即插即用模块，提高远距离建模依赖（含二次创新）

EMA认为跨维度交互有助于通道或空间注意力预测，并且解决了现有注意力机制在提取深度视觉表示时可能带来的维度缩减问题。
Limiiiing·2025-01-31 17:31

Llama大型语言模型原理详解

一、模型结构Llama模型采用了一种基于Transformer的架构，这是一种由多个自注意力机制和前馈神经网络组成的深度神经网络结构。Transformer架构通过自注意力机制捕
摆烂大大王·2025-01-31 11:40

【llm对话系统】大模型源码分析之llama模型的long context更长上下文支持

本文将深入分析Llama源码中实现长上下文的关键技术点，包括位置编码(positionembedding)的外推方法、注意力机制的优化等。我们将通过详细的代码解析来理解其实现原理。
kakaZhui·2025-01-30 12:57

Transformer架构原理详解：残差连接和层归一化（Residual Connection an

《Transformer架构原理详解：残差连接和层归一化（ResidualConnectionandLayerNormalization）》文章关键词Transformer残差连接层归一化自注意力机制序列模型编码器与解码器摘要本文将深入解析
AI天才研究院·2025-01-30 08:26

【YOLOv11改进- 注意力机制】YOLOv11+SCSA注意力机制（2024）: 最新空间和通道协同注意力,助力YOLOv11有效涨点；包含二次创新

目标检测改进实例与创新改进专栏专栏地址：YOLOv11目标检测改进专栏，包括backbone、neck、loss、分配策略、组合改进、原创改进等；本文介绍本文给大家带来的改进内容是在YOLOv11中添加SCSA注意力机制
算法conv_er·2025-01-30 02:08

TPA注意力机制详解及代码复现

基本原理在深入探讨TPA注意力机制的数学表达之前，我们需要先理解其基本原理。TPA注意力机制是一种创新的注意力机制，旨在解决传统注意力机制在处理大规模数据时面临的内存和计算效率问题。
清风AI·2025-01-29 17:28

Transformer--概念、作用、原理、优缺点以及简单的示例代码

Transformer的概念Transformer是一种基于自注意力机制的神经网络模型，最早由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。
Ambition_LAO·2025-01-29 17:23

LLM架构与优化：从理论到实践的关键技术

标题：“LLM架构与优化：从理论到实践的关键技术”文章信息摘要：文章探讨了大型语言模型（LLM）开发与应用中的关键技术，包括Transformer架构、注意力机制、采样技术、Tokenization等基础理论
XianxinMao·2025-01-28 20:14

YOLOv10涨点改进：特征融合创新 | 多层次特征融合（SDI），小目标涨点明显，| UNet v2，比UNet显存占用更少、参数更少

SDI），能够显著提升不同尺度和小目标的识别率如何引入到YOLOv10：1)替代原始的Concat；改进结构图如下：《YOLOv10魔术师专栏》将从以下各个方向进行创新：【原创自研模块】【多组合点优化】【注意力机制
AI小怪兽·2025-01-28 19:08

YOLO11涨点优化：特征融合创新 | 多层次特征融合（SDI），小目标涨点明显| UNet v2，比UNet显存占用更少、参数更少

SDI），能够显著提升不同尺度和小目标的识别率如何引入到YOLO11：1)替代原始的Concat；改进结构图如下：《YOLOv11魔术师专栏》将从以下各个方向进行创新：【原创自研模块】【多组合点优化】【注意力机制
AI小怪兽·2025-01-28 19:08

Transformer架构和Transformers 库和Hugging Face

以下是两者的关系及其具体联系：1.Transformer架构背景:Transformer是由Google在2017年提出的革命性架构，基于自注意力机制（Self-Attention），解决了传统RNN和
大哥喝阔落·2025-01-28 04:50

0基础跟德姆（dom）一起学AI 自然语言处理18-解码器部分实现

个解码器层堆叠而成每个解码器层由三个子层连接结构组成第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接说明:解码器层中的各个部分，如，多头注意力机制
跟德姆(dom)一起学AI·2025-01-27 04:09

点云从入门到精通技术详解100篇-基于卷积和注意力机制的3D点云特征提取

目录知识储备点云获取技术分类一、图像衍生点云二、LiDAR三、RGB-D深度图像传感器基于3D激光slam的点云特征提取为什么要进行点云特征提取特征提取理论与代码编写点云特征提取主体类sample_and_groupfarthest_point_samplequery_ball_pointindex_points前言国内外研究现状卷积神经网络三维卷积神经网络稀疏卷积[21]基于3D点云数据的目标分
格图素书·2025-01-26 10:26

PointNet++改进策略 ：模块改进 | PointCAT， 使用交叉注意力机制来提升3D点云任务中提升模型精度

Cross-AttentionTransformerforPointCloud通讯地址：南京理工大学代码地址：https://github.com/xincheng-yang/PointCAT.PointCAT架构：PointCAT提出了一种基于交叉注意力机制的
我是瓦力·2025-01-25 12:59

深入浅出之注意力机制（YOLO）

一、基本概念注意力机制（AttentionMechanism）源于对人类视觉的研究。
浩瀚之水_csdn·2025-01-24 10:37

conv2former模型详解及代码复现

ViTs则通过自注意力机制有效捕捉全局依赖关系，在多个视觉任务中展现出优异性能。然而，ViTs在处理高分辨率图像时面临计算成本过高的问
清风AI·2025-01-22 17:26

多头潜在注意力（MLA）是怎么来的，什么原理，能用简单的示例解释么

多头潜在注意力（Multi-HeadLatentAttention，简称MLA）是一种改进的注意力机制，旨在提高自然语言处理（NLP）模型的推理效率和性能。
百态老人·2025-01-22 14:55

Transformer中的注意力机制：从基础概念到高级变体的全面解析

注意力机制的基础概念核心组件(Query、Key、Value)的详细解释主要的注意力机制变体：自注意力(Self-Attention)多头注意力(Multi-HeadAttention)掩码注意力(MaskedAttention
XianxinMao·2025-01-22 13:48

一切皆是映射：Transformer架构全面解析

背景介绍自2017年，Transformer（自注意力机制）架构的问世以来，它已经成为自然语言处理（NLP）领域的主流技术之一。
AI天才研究院·2025-01-22 09:16

【深度学习】Pytorch：在 ResNet 中加入注意力机制

在这篇教程中，我们将介绍如何在ResNet网络中加入注意力机制模块。我们将通过对标准ResNet50进行改进，向网络中添加两个自定义的注意力模块，并展示如何实现这一过程。
T0uken·2025-01-22 07:03

卷积调制空间自注意力SPATIALatt模型详解及代码复现

背景与意义SPATIALaTT模型的提出源于对自注意力机制和卷积神经网络（CNN）的深入研究。在计算机视觉领域，CNN长期占据主导地位，而自注意力机制的引入为视觉任务带来了新的思路。
清风AI·2025-01-22 03:32

深入理解GPT底层原理--从n-gram到RNN到LSTM/GRU到Transformer/GPT的进化

从简单的RNN到复杂的LSTM/GRU,再到引入注意力机制,研究者们一直在努力解决序列建模的核心问题。
网络安全研发随想·2025-01-22 02:55

深度学习理论基础（七）Transformer编码器和解码器

深度神经网络DNN深度学习理论基础（三）封装数据集及手写数字识别深度学习理论基础（四）Parser命令行参数模块深度学习理论基础（五）卷积神经网络CNN深度学习理论基础（六）Transformer多头自注意力机制深度学习理论基础
小仇学长·2025-01-22 01:48

Transformer架构原理详解：编码器（Encoder）和解码器（Decoder）

Transformer,编码器,解码器,自注意力机制,多头注意力,位置编码,序列到序列,自然语言处理1.背景介绍近年来，深度学习在自然语言处理（NLP）领域取得了显著进展，其中Transformer架构扮演着至关重要的角色
AI大模型应用之禅·2025-01-22 00:08

改进yolov8工业缺陷检测+swin+transformer

本篇将介绍一种基于NEU-DET数据集，利用YOLOv8及其改进版本（包含坐标注意力机制和SwinTransformer）进行缺陷检测的应用开发过程。我们将详细探讨从数据准备到模型训练，再到最
qq1309399183·2025-01-21 15:56

改进yolov8缺陷检测+swin+transformer

本篇将介绍一种基于NEU-DET数据集，利用YOLOv8及其改进版本（包含坐标注意力机制和SwinTransformer）进行缺陷检测的应用开发过程。我们将详细探讨从数据准备到模型训练，再到最
QQ_1309399183·2025-01-21 15:16

国自然青年项目｜基于多模态影像组学的乳腺癌分子分型预测研究｜基金申请·25-01-20

通过提出一系列创新算法，如基于类别中心原型对齐器的图像分割算法、基于自注意力机制与生成对抗网络的聚类算法等，实现了对乳腺癌分子分型的高精度预测，并开发
罗小罗同学·2025-01-21 01:34

YOLOv9改进，YOLOv9检测头融合，适合目标检测、分割任务

作者提出了一个新的视角，认为空间注意力机制本质上解决了卷积核参数共享的问题。然而，空间注意力生成的注意力图信息对于大尺寸卷积核来说是不足够的。
挂科边缘·2025-01-20 15:37

YOLOv8改进，YOLOv8检测头融合RFAConv卷积，并添加小目标检测层（四头检测），适合目标检测、分割等

作者提出了一个新的视角，认为空间注意力机制本质上解决了卷积核参数共享的问题。然而，空间注意力生成的注意力图信息对于大尺寸卷积核来说是不足够的。
挂科边缘·2025-01-20 15:36

图像生成大模型：Imagen 详解

Imagen是一种基于深度学习的图像生成模型，结合了自注意力机制（Self-attentionMechanism）和
转角再相遇·2025-01-20 04:17

ChatGPT详解

其核心是自注意力机制，允许模型在
Loving_enjoy·2025-01-19 23:22

MHA实现

（1）关键点说明：多头注意力机制：将输入分成多个头，每个头独立计算注意力（2）维度变换：输入：(batch_size,sequence_length,embedding_dim)多头处理：(batch_size
谁怕平生太急·2025-01-19 16:27

LLMs，即大型语言模型

LLMs的核心架构是Transformer，其关键在于自注意力机制，使得模型能够同时对输入的所有位置进行“关注”，从而更好地捕捉长距离的语义依赖关系。
maopig·2025-01-18 17:52

假新闻检测论文（24）A comprehensive survey of multimodal fake news detection techniques...

本文综述了利用深度学习架构和注意力机制进行假新闻检测的最新和全面的研究一介绍假新闻定义：虚假或误导性新闻，或“假新闻”，是任何捏造或故意欺骗的媒体内容。
weixin_41964296·2025-01-18 05:17

Time-LLM ：超越了现有时间序列预测模型的学习器

AI预测相关目录AI预测流程，包括ETL、算法策略、算法模型、模型评估、可视化等相关内容最好有基础的python算法预测经验EEMD策略及踩坑VMD-CNN-LSTM时序预测对双向LSTM等模型添加自注意力机制
福安德信息科技·2025-01-17 23:38

注意力池化层：从概念到实现及应用

引言在现代深度学习模型中，注意力机制已经成为一个不可或缺的组件，特别是在处理自然语言和视觉数据时。
专业发呆业余科研·2025-01-17 21:39

如何学习Transformer架构

作为一种基于注意力机制的模型，Transformer解决了传统序列模型在并行化和长距离依赖方面的局限性。
fydw_715·2025-01-17 10:07

频域增强通道注意力机制EFCAM模型详解及代码复现

FECAM模型的开发正是基于这一背景，旨在结合频域分析和通道注意力机制，以提高模型对时间序列数据的特征提取和表示能力。通过这种创新方法，FECAM模型能够更有效地捕捉时间序列中的关键特
呆头鹅AI工作室·2025-01-17 01:20

PyTorch FlexAttention技术实践：基于BlockMask实现因果注意力与变长序列处理

本文介绍了如何利用torch2.5及以上版本中新引入的FlexAttention和BlockMask功能来实现因果注意力机制与填充输入的处理。
·2025-01-17 00:31

YOLOV8涨点技巧之MCA多维协作注意力模块

1.2MCA模块设计MCA模块的核心思想是通过多维度的注意力机制（如通道注意力、空间注意力和尺度注意力）来增强特征表示。其结构如下：
呆头鹅AI工作室·2025-01-16 21:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他