TransFormer 第3页

自动驾驶---感知模型之BEVFormer

BEVFormer的提出旨在解决这一问题，通过Transformer架构实现高效的多传感器数据融合和BEV特征表示学习。BEVFormer

智能汽车人·2025-06-18 08:44

具身智能系统中的未来预测机制构建：从序列建模到动态场景生成

具身智能系统中的未来预测机制构建：从序列建模到动态场景生成关键词具身智能、未来预测、世界模型、序列建模、场景生成、Transformer、状态模拟、仿真推理、长时记忆建模、感知驱动预测摘要在具身智能系统中

观熵·2025-06-18 07:42

AI大模型的概念验证与落地

AI大模型,深度学习,Transformer,自然语言处理,计算机视觉,概念验证,落地应用,模型训练,模型部署1.背景介绍近年来，人工智能（AI）技术取得了飞速发展，其中，大模型作为AI领域的重要组成部分

AI智能应用·2025-06-18 04:19

自然语言处理(NLP)核心技术：从词嵌入到Transformer

1.NLP基础与文本表示1.1文本预处理技术importreimportnltkfromnltk.corpusimportstopwordsfromnltk.stemimportPorterStemmer,WordNetLemmatizernltk.download('punkt')nltk.download('stopwords')nltk.download('wordnet')defprepr

软考和人工智能学堂·2025-06-17 23:21

SwinTransformer 改进：结合DLKA与SSPP的模型架构

1.创新点设计引言在计算机视觉领域，Transformer架构近年来取得了巨大成功，逐渐取代了传统的CNN模型。

听风吹等浪起·2025-06-17 18:16

『大模型笔记』基于Transformer的生成式模型分布式服务系统

基于Transformer的生成式模型分布式服务系统文章目录一、生成模型的推理过程二、当前推理系统的局限1.不灵活的请求级调度（request-levelbatch）2.批处理受限于请求形状不同三、Orca

AI大模型前沿研究·2025-06-16 23:07

Transformer为何强大？揭秘多头注意力的核心机制

注意力机制首先简单回顾一下transformer的流程。我们有一句话我是秦始皇。

和老莫一起学AI·2025-06-16 20:14

32 - BiFormer模块

论文《BiFormer:VisionTransformerwithBi-LevelRoutingAttention》1、作用BiFormer旨在解决视觉Transformer在处理图像时的计算和内存效率问题

Leo Chaw·2025-06-16 18:34

Transformer 核心概念转化为夏日生活类比

以下是把Transformer核心概念转化为「夏日生活类比」，不用看代码也能秒懂，搭配冰镇西瓜式记忆法：一、Transformer=夏日冷饮制作流水线编码器（Encoder）：相当于「食材处理间」把输入

扉间798·2025-06-16 18:00

研读论文《Attention Is All You Need》（15）

原文406.2ModelVariationsToevaluatetheimportanceofdifferentcomponentsoftheTransformer,wevariedourbasemodelindifferentways

CS创新实验室·2025-06-16 15:39

【AI大模型】15、从GPT-1到GPT-3：大语言模型核心技术演进与能力涌现全解析

一、GPT-1：预训练微调范式的奠基者（2018）（一）架构创新：单向Transformer解码器的诞生GPT-1首次将Transformer架构应用于语言模型领域，其核心采用12层Transformer

·2025-06-16 14:04

【AI大模型】14、Transformer架构深度解析：从并行计算到千亿参数模型的扩展密码

一、Transformer的基因密码：并行化架构的革命性突破（一）序列计算的历史性突破在Transformer诞生之前，RNN/LSTM等序列模型受困于串行计算的天然缺陷：时间复杂度瓶颈：处理长度为N的序列需

无心水·2025-06-16 14:32

我可以理解llama.cpp是用C++实现了算法，而其他项目一般用python实现？

简单来说：Python项目(如HuggingFaceTransformers,PyTorch):主要用于研究和训练。llama.cpp项目:主要用于推理和部署。

欧先生^_^·2025-06-16 05:35

大模型——大模型应用开发实战

太年轻了，huggingface、transformers、torch、tokenizers、langchain、modelscop

不二人生·2025-06-15 23:28

26 - UFO模块

论文《UFO-ViT:HighPerformanceLinearVisionTransformerwithoutSoftmax》1、作用UFO-ViT旨在解决传统Transformer在视觉任务中所面临的主要挑战之一

Leo Chaw·2025-06-15 22:46

水下图像增强（UIE）当前SOTA方法代码分享

1.U-shape_Transformer_for_Underwater_Image_Enhancement-main2.FUnIE-GAN-master3.Ucolor_final_model_corrected4

石头192·2025-06-15 13:56

【超强组合】VMD-粒子群算法PSO-Transformer-LSTM光伏预测【含Matlab源码 8679期】

Matlab领域博客之家博主简介：985研究生，Matlab领域科研开发者；个人主页：Matlab领域代码获取方式：CSDNMatlab领域—代码获取方式座右铭：路漫漫其修远兮，吾将上下而求索。更多Matlab神经网络与分类预测仿真内容点击①Matlab智能算法神经网络预测与分类（高阶版）②Matlab神经网络与分类预测（中级版）③Matlab智能算法神经网络预测与分类（初级版）⛳️关注CSDNM

Matlab领域·2025-06-15 02:09

VMD-PLO-Transformer-LSTM多变量时间序列光伏功率预测

本文针对多变量时间序列光伏功率预测问题，提出了一种基于变分模态分解(VMD)、极光优化算法(PLO)、Transformer和长短期记

Matlab算法改进和仿真定制工程师·2025-06-15 02:06

深刻理解深度学习的注意力机制Attention

前言最近研究了很多精妙的transformer资料，发现各大教育机构的对此讲解的讳莫如深，本着求索的态度，所以查了相关的资料和原始文献，结合自己的理解，写一点东西，希望能对你有所帮助。

勤奋的知更鸟·2025-06-14 14:13

AI编程工具的进化路径，从辅助生成到自主优化，驱动代码全生命周期进化

一、AI编程工具的技术架构与演进路径1.1底层模型技术突破Transformer架构的范式升级DeepSeek-R18K上下文窗口：通过稀疏注意力机制实现长序列处理，在代码补

羑悻的小杀马特.·2025-06-14 08:39

meshgpt 笔记2

meshgpt-pytorchMarcusLoppe/meshgpt-pytorch|DeepWiki[2311.15475]MeshGPT:GeneratingTriangleMesheswithDecoder-OnlyTransformersexportHF_ENDPOINT

njsgcs·2025-06-14 06:24

基于KAN+Transformer的专业领域建模方法论

一、专业领域KAN方法创新路径领域函数分解策略•数学建模：针对专业领域特性设计专用基函数组合•医学影像：采用小波变换基函数分解图像特征```pythonclassWaveletKAN(nn.Module):def__init__(self):self.wavelet_basis=nn.Parameter(torch.randn(8,32,3))#8通道小波基defforward(self,x):r

乡土老农·2025-06-13 16:19

缩放点积模型：如何巧妙化解Softmax梯度消失难题？

在Transformer模型中，缩放点积注意力（ScaledDot-ProductAttention）通过一个看似简单的操作——除以维度的平方根——解决了Softmax梯度消失的核心问题。

摘取一颗天上星️·2025-06-13 14:05

AIGC的产品设计演进：从工具到协作者

引言：1.背景与行业现状AIGC的革命性突破技术驱动：从2017年Transformer架构的诞生，到2024年Sora实现动态视频生成，AIGC已突破单一模态（文本/图像），迈向多模态融合（音视频、3D

心灵彼岸-诗和远方·2025-06-13 07:12

AIGC技术栈全解析：从底层原理到应用开发

通过深度剖析核心算法原理（如Transformer、GAN、Diffusion模型）、数学模型构建、工程实践方法论及典型应用场景，揭示AIGC技术栈的架构逻辑与实现细节。结合P

AI原生应用开发·2025-06-13 04:56

Open AI在AI人工智能领域的战略布局

详细分析了其核心算法原理，如基于Transformer架构的算法，并给出Python

AI大模型应用实战·2025-06-13 01:31

Whisper使AI人工智能语音识别更精准可靠

Whisper使AI人工智能语音识别更精准可靠关键词：Whisper、语音识别、AI模型、自动语音识别(ASR)、深度学习、Transformer、语音处理摘要：本文深入探讨了OpenAI开发的Whisper

AI天才研究院·2025-06-12 23:44

元学习与Transformer的结合：Meta-Transformer架构解析

元学习与Transformer的结合：Meta-Transformer架构解析关键词：元学习、Transformer、Meta-Transformer、架构解析、深度学习摘要：本文主要探讨了元学习与Transformer

AI智能探索者·2025-06-12 19:16

基于bert预训练模型transformer架构的中文文本多标签分类的双向语义理解。

基于bert预训练模型transformer架构的中文文本多标签分类的双向语义理解。

·2025-06-12 14:14

Transformer架构下的量价选股策略分析：量化投资新视角

Transformer架构下的量价选股策略分析：量化投资新视角【下载地址】Transformer架构下的量价选股策略研究报告探索Transformer架构在量化投资领域的创新应用，本分析报告深入剖析了ChatGPT

盛希蒙·2025-06-12 12:56

大模型全景解析：从技术突破到行业变革

目录一、引言：人工智能的新纪元二、大模型发展历史与技术演进1.早期探索期（2015-2017）：从"人工智障"到初具规模RNN/LSTM架构时代（2013-2017）Transformer革命（2017

敲键盘的小夜猫·2025-06-12 07:45

深度剖析Diffusion与Transformer在图像生成中的计算逻辑与融合之道

写在前面人工智能（AI）在图像生成领域持续发展，从模糊的轮廓到如今媲美专业摄影和艺术创作的惊艳作品，背后离不开两大核心技术的驱动：Diffusion模型和Transformer模型。

kakaZhui·2025-06-12 02:54

non-autoregressive sequence generation

非自回归non-autoregressive传统rnn是autoregressive,而且encode和decode都是根据上一个input/output,这样花费的时间就和句子长度成正比transformer

D11PMINDER·2025-06-11 22:54

BERT

BERT简介BERT，全称是“双向编码器表示来自变换器”（BidirectionalEncoderRepresentationsfromTransformers），听起来可能有点复杂，但其实它就像一个超级聪明的

D11PMINDER·2025-06-11 22:54

python打卡第46天

在Transformer中：被称为自注意力（Self-Attention）。它允许序列（如句子中的词、图像中的区域）中的每个元素“查看”序列中的所有其他元

zdy1263574688·2025-06-11 21:49

Hugging Face基础入门

Transformers库全景图HuggingFace与深度学习的融合安装Transformers与Datasets第一个Pipeline程序：一行代码跑大模型在CPU、GPU上运行的区别pipeline

·2025-06-11 21:45

最后生还者2：重制版/美国末日2（更新：v1.4.10515.0636）

更新日志补丁1.4发布说明-v1.4.10515.0636集成NVIDIADLSS4和Transformer模型，用于升级和支持GPU的多帧生成。

AABBCC103·2025-06-11 17:14

【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

2.4pipeline参数2.4.1pipeline对象实例化参数2.4.2pipeline对象使用参数2.4pipeline实战2.5模型排名三、总结一、引言pipeline（管道）是huggingfacetransformers

LDG_AGI·2025-06-11 17:43

【深度学习实战】图像二分类任务的精度优先模型推荐

1.SwinTransformer（视觉Transformer架构）简介：SwinTransformer是一种由Microsoft提出的VisionTransforme

云博士的AI课堂·2025-06-11 16:12

Open AI o3 推理大模型的核心实现原理讲解，数学公式，并各个符号详细解释

OpenAIo3推理大模型的核心实现原理讲解，数学公式，并各个符号详细解释文章目录OpenAIo3推理大模型的核心实现原理讲解，数学公式，并各个符号详细解释剖析OpenAIo3推理大模型的核心实现原理1.Transformer

AI天才研究院·2025-06-11 16:07

处理长文本输入的 Transformer 模型优化策略在 Android 端的应用：性能瓶颈剖析与滑窗分段推理实战指南

处理长文本输入的Transformer模型优化策略在Android端的应用：性能瓶颈剖析与滑窗分段推理实战指南关键词Android推理优化、Transformer长文本、滑动窗口、分段处理、轻量模型部署

观熵·2025-06-11 15:01

多模态核心实现技术

1.单模态编码技术文本表示：采用词嵌入模型（如Word2Vec、GloVe）或预训练语言模型（如BERT、RoBERTa），通过Transformer层提取上下文特征，生成动态词向量。

charles666666·2025-06-11 14:59

大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来

行业共识正在凝聚：Transformer不是终点。其注意力机制的高计算复杂度、长文本处理瓶颈、端侧部署的能耗压力，如同三座大山横亘在

TGITCIC·2025-06-11 12:40

传统机器学习与大模型 + Prompt 的对比示例

traditional-ml-text-classification传统机器学习文本分类实现importtorchfromtorch.utils.dataimportDataset,DataLoaderfromtransformersimportBert

MYH516·2025-06-11 11:05

nnUNet V2修改网络——暴力替换网络为Swin-Unet

Swin-Unet是一种基于纯Transformer的U型编码器-解码器架构，专为医学图像分割任务设计。

w1ndfly·2025-06-11 09:20

强化学习+Transformer，29个创新点汇总

基于Transformer的强化学习（TRL）是一种利用Transformer模型架构来改进和增强强化学习算法性能的方法。

深度之眼·2025-06-10 19:34

前沿技术领域中Transformer的技术演进

前沿技术领域中Transformer的技术演进关键词：Transformer、技术演进、深度学习、自然语言处理、注意力机制摘要：本文全面深入地探讨了前沿技术领域中Transformer的技术演进。

AI天才研究院·2025-06-10 18:54

`tokenizer.decode` 出现乱码或异常输出，怎么处理

tokenizer.decode出现乱码或异常输出，怎么处理在使用HuggingFaceTransformers库进行大语言模型（LLM）开发时，tokenizer.decode出现乱码或异常输出，通常和模型输出的

ZhangJiQun&MXP·2025-06-10 15:03

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

1）KV缓存压缩在Transformer架构的大语言模型（LLM）中，KV缓存（Key-ValueCach

华清远见成都中心·2025-06-10 12:19

神经网络学习-神经网络简介【Transformer、pytorch、Attention介绍与区别】

神经网络学习笔记本笔记总结了神经网络基础理论、常见模型结构、优化方法以及PyTorch实践，适用于初学者和进阶者查阅学习。一、神经网络基础1.神经元模型神经元通过输入加权求和后激活：y=f(∑i=1nwixi+b)y=f\left(\sum_{i=1}^{n}w_ix_i+b\right)y=f(i=1∑nwixi+b)xix_ixi：输入wiw_iwi：权重bbb：偏置fff：激活函数，如ReL

Crabfishhhhh·2025-06-10 06:39

推荐频道

TransFormer