TransFormer 第7页

【NLP】37. NLP中的众包

众包的智慧：当“无数人”帮你训练AI当我们谈论构建大语言模型时，脑海中浮现的往往是服务器、GPU和Transformer，而很少想到成千上万的普通人也在默默贡献力量。

pen-ai·2025-05-21 03:27

TensorFlow在自然语言处理(NLP)中的实战应用

TensorFlow在自然语言处理(NLP)中的实战应用关键词：TensorFlow、自然语言处理、实战应用、深度学习、循环神经网络、Transformer、文本分类摘要：本文系统解析TensorFlow

AI天才研究院·2025-05-21 03:55

【RAG实战】语言模型基础

接下来主要介绍一些基础的语言模型，如Transformer、自动编码器、自回归模型等。2.1TransformerTransformer模型是深度学习，尤

sysu_lluozh·2025-05-20 23:28

提高绳牵引并联连续体机器人运动学建模精度的基于Transformer的分段学习方法

合肥工业大学王正雨老师团队针对绳牵引并联连续体机器人的运动学建模提出一种基于Transformer网络的分段学习方法，该方法较传统建模性能卓越、精度更高。

MocapLeader·2025-05-20 18:02

基于 BERT 的中文情感倾向分析库 Cemotion 2.0 发布

Cemotion2.0模型使用BERT(BidirectionalEncoderRepresentationsfromTransformers)训练得到，会为中文文本返回0～1之间的情感倾向置信度(情感极性

Cyberbolt-2020·2025-05-20 14:08

YOLO12改进-模块-引入Convolutional Modulation模块捕捉更丰富的局部 - 全局空间关系，提升目标边界定位精度。

在视觉识别领域，卷积神经网络（ConvNets）擅长捕捉局部空间特征，但在建模全局上下文依赖方面存在不足；VisionTransformers（ViTs）通过自注意力机制能有效建模全局关系，却面临高分辨率图像下计算成本呈二次增长的问题

一勺汤·2025-05-20 01:13

手把手带你走出新手村：Ubuntu 22.04 + Transformer 搭建攻略

写在前面：现目前关于transformer的教程，网上的大多数教程要么只有环境的安装（也不知道什么时候安装哈哈哈），要么是只给出代码（可能还存在一些问题，并且根本不知道怎么样才能跑起来，常常会发出一个疑问

Sunine_686·2025-05-19 14:29

【图像生成大模型】Wan2.1：下一代开源大规模视频生成模型

Wan2.1：下一代开源大规模视频生成模型引言Wan2.1项目概述核心技术1.3D变分自编码器（Wan-VAE）2.视频扩散Transformer（VideoDiffusionDiT）3.数据处理与清洗项目运行方式与执行步骤

白熊188·2025-05-19 12:41

从零实现诗词GPT大模型：实现Transformer架构

专栏规划:https://qibin.blog.csdn.net/article/details/137728228首先说明一下，跟其他文章不太一样，在本篇文章中不会对Transformer架构中的自注意力机制进行讲解

Qibin01·2025-05-19 10:33

使用 Pytorch 从头开始构建 Transformer

目录一、说明二、输入嵌入2.1__init__()方法目的2.2super()三、PositionalEncoding类四、位置编码的工作原理4.1总体过程4.2数学公式五、LayerNormalization类5.1过程描述5.2例子六、FeedForwardBlock类6.1总体描述6.2数学公式七、MultiHeadAttentionBlock类7.1.自注意力机制7.2.多头注意力八、Re

无水先生·2025-05-19 10:02

深度剖析Transformer架构：从原理到实战的全面指南

摘要：本文系统阐述Transformer架构核心原理，深入剖析自注意力机制、多头注意力、位置编码等关键组件的运行逻辑与数学表达。

AI_DL_CODE·2025-05-19 07:42

模型量化AWQ和GPTQ哪种效果好?

解决方案：关于AWQ（AdaptiveWeightQuantization）和GPTQ（GenerativePre-trainedTransformerQuantization）这两种量化方法的效果比较

玩人工智能的辣条哥·2025-05-19 03:12

【自然语言处理与大模型】大模型（LLM）基础知识①

1.GTP（GenerativePer_trainedTransformer）系列，是由OpenAI发布的一系列基于Transformer架构的语言模型，包括GPT、GPT-2、GPT-3等。

小oo呆·2025-05-19 03:11

深度解析BERT：从理论到Pytorch实战

我们探讨了BERT的核心特点，包括其强大的注意力机制和与其他Transformer架构的差异。一、引言在信息爆炸的时代，自然语言处理（NLP）成为了一门极其重要的学科。

代码很孬写·2025-05-18 22:44

【LLIE专题】基于Retinex理论的transformer暗光增强

Retinexformer:One-stageRetinex-basedTransformerforLow-lightImageEnhancement（2023，ICCV）专题介绍一、研究背景二、Retinexformer

PixelMind·2025-05-18 21:07

DeepSeek在简历筛选系统中的深度应用

一、多模态解析引擎的技术突破1.1复杂格式的精准解析针对简历格式多样性挑战，DeepSeek采用三级解析架构：格式标准化层：基于Transformer的DocParser模型支持200+种文档格式转换视觉特征提取

摆烂大大王·2025-05-18 20:30

多头自注意力机制—Transformer模型的并行特征捕获引擎

作为深度学习领域的革命性突破，Transformer模型凭借其卓越的建模能力，已成为自然语言处理(NLP)的主流架构。

Stara-AI·2025-05-18 19:20

AIGC未来趋势：生成式AI将如何重塑数字世界？

通过解析核心技术原理（如Transformer架构、扩散模型、多模态融合算法），结合具体技术实现案例与数学模型，揭示生

AI大模型应用工坊·2025-05-18 15:55

《Python星球日记》第87天：什么是大语言模型 LLM？

2.发展历程：从GPT到现代模型3.LLM的应用场景：2025年最新趋势二、模型架构1.Transformer回顾与发展2.Transformer的扩展与2025年最新改进三、代码练习：加载并运行预训练

Code_流苏·2025-05-18 13:09

自然语言处理 (NLP) 入门教程

近年来，NLP领域取得了显著进展，这得益于深度学习模型的引入，例如词嵌入、循环神经网络和Transformer，这些模型在文本分类、机器翻译、问答系统等应用中取得了突破性成果。

斯陀含·2025-05-18 01:14

RT-DETR实时端到端目标检测器

RT-DETR（Real-TimeDEtectionTRansformer）是一种新型的实时端到端目标检测器，由百度公司的研究者提出。

SUST小生·2025-05-17 18:27

论文阅读《BEVFormer》

BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers目录摘要

YMWM_·2025-05-17 11:28

AIGC 技术解析：Whisper 的低延迟语音识别

AIGC技术解析：Whisper的低延迟语音识别关键词：AIGC、Whisper、语音识别、低延迟、Transformer、端到端学习、语音处理摘要：本文深入解析OpenAIWhisper模型的低延迟语音识别技术

AI大模型应用之禅·2025-05-17 02:01

Transformer 模型与注意力机制

目录Transformer模型与注意力机制一、Transformer模型的诞生背景二、Transformer模型的核心架构（一）编码器（Encoder）（二）解码器（Decoder）三、注意力机制的深入剖析

水花花花花花·2025-05-16 20:52

python打卡day23

管道pipeline知识回顾:转化器和估计器的概念管道工程ColumnTransformer和Pipeline类作业：整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipelinepipeline

(・Д・)ノ·2025-05-16 20:19

基于大模型预测胃穿孔预测与围手术期管理系统技术方案

目录1.系统架构模块2.关键算法实现2.1术前预测模型（Transformer多模态融合）2.2术中实时分析（在线学习LSTM）3.模块流程图（Mermaid）3.1数据预处理系统3.2术前预测系统3.3

LCG元·2025-05-16 17:23

快手上线鸿蒙应用高性能解决方案高效提升数据反序列化性能

近日，快手在Gitee平台上线了鸿蒙应用性能优化解决方案“QuickTransformer”，该方案针对鸿蒙应用开发中广泛使用的三方库“class-transformer”进行了深度优化，有效提升了其数据反序列化性能

·2025-05-16 16:00

Donut：无需OCR的文档理解Transformer

摘要：理解文档图像（如发票）是一个核心且具有挑战性的任务，因为它需要执行复杂的功能，如读取文本和对文档的整体理解。目前的视觉文档理解（VDU）方法将读取文本的任务外包给现成的光学字符识别（OCR）引擎，并专注于使用OCR输出进行理解任务。尽管基于OCR的方法显示出令人鼓舞的性能，但它们面临以下问题：1）使用OCR的高计算成本；2）OCR模型在语言或文档类型上的灵活性差；3）OCR错误会传播到后续处

AI专题精讲·2025-05-16 12:50

探索文档理解的革命性方法：Donut

探索文档理解的革命性方法：DonutdonutOfficialImplementationofOCR-freeDocumentUnderstandingTransformer(Donut)andSyntheticDocumentGenerator

钟日瑜·2025-05-16 11:17

PyTorch 入门与核心概念详解：从基础到实战问题解决

PyTorch入门与核心概念详解：从基础到实战问题解决前言用PyTorch编写Transformer模型时遇到了多个错误，包括维度不匹配、NaN损失、注意力权重未记录以及OpenMP库初始化等问题。

灏瀚星空·2025-05-16 11:46

AI:Attention的本质：从Self到Cross，彻底读懂Transformer的注意力机制

在你还没接触Transformer之前，RNN是自然语言处理的主力军。它们一次处理一个词，就像一位有点健忘的老教授，一边听你说话一边试图记住上下文，却常常在长段落中忘了开头。

审计侠·2025-05-16 08:22

NLP高频面试题（四十六）——Transformer 架构中的位置编码及其演化详解

引言Transformer模型（Vaswani等人，2017）在序列建模中取得了革命性突破，利用自注意力机制实现了并行的序列处理。

Chaos_Wang_·2025-05-16 03:41

python打卡day23@浙大疏锦行

知识回顾:1.转化器和估计器的概念2.管道工程3.ColumnTransformer和Pipeline类作业：整理下全部逻辑的先后顺序，看看能不能制作出适合所有机器学习的通用pipeline一、导入数据库

风逸hhh·2025-05-16 02:38

大模型中的KV Cache

1.KVCache的定义与核心原理KVCache（Key-ValueCache）是一种在Transformer架构的大模型推理阶段使用的优化技术，通过缓存自注意力机制中的键（Key）和值（Value）矩阵

为啥全要学·2025-05-15 23:16

Generative Pre-trained Transformer

GenerativePre-trainedTransformer(GPT)referstoaclassofdeeplearningmodelsdevelopedbyOpenAI,specificallydesignedfornaturallanguageprocessingtasks.GPTmodelsarebasedonthetransformerarchitectureandarepre-tr

科学禅道·2025-05-15 21:59

gpt改代码bug

在过去的十年中，自然语言处理（NLP）领域经历了显著的进步，这主要得益于大规模预训练模型的提出和发展，最为人所知的便是OpenAI的生成预训练Transformer模型系列，即GPT系列。

夕小瑶·2025-05-15 21:29

GPT（ Generative Pre-trained Transformer ）模型：基于Transformer

GPT是由openAI开发的一款基于Transformer架构的预训练语言模型，拥有强大的生成能力和多任务处理能力，推动了自然语言处理（NLP）的快速发展。

sbc-study·2025-05-15 20:54

GPT-3 的技术变革与技术挑战应对

GPT-3的技术变革与技术挑战应对关键词：GPT-3,自然语言处理,深度学习,transformer架构,零样本学习,技术挑战,伦理问题摘要：本文深入探讨了GPT-3（GenerativePre-trainedTransformer3

AI天才研究院·2025-05-15 20:21

《Python星球日记》第70天：Seq2Seq 与Transformer Decoder

名人说：路漫漫其修远兮，吾将上下而求索。——屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder）目录一、Seq2Seq模型基础1.什么是Seq2Seq模型？2.Encoder-Decoder架构详解1️⃣编码器(Encoder)2️⃣解码器(Decoder)3.传统Seq2Seq模型的局限性二、注意力机制在Seq2Seq中的应用1.注意力机制的核心思想2.注意力机制的

Code_流苏·2025-05-15 19:47

pytorch深度学习入门（15）之-使用onnx模型量化

量化ONNX模型内容量化概述ONNX量化表示格式量化ONNX模型基于变压器的模型Transformer基于变压器的模型GPU上的量化常问问题量化概述ONNX运行时中的量化是指ONNX模型的8位线性量化。

码农呆呆·2025-05-15 13:01

快手上线鸿蒙应用高性能解决方案：数据反序列化性能提升90%

近日，快手在Gitee平台上线了鸿蒙应用性能优化解决方案“QuickTransformer”，该方案针对鸿蒙应用开发中广泛使用的三方库“class-transformer”进行了深度优化，有效提升了其数据反序列化性能

·2025-05-15 10:09

stable diffusion文生图代码解读

fromPILimportImageimporttorchfromtransformersimportCLIPTextModel,CLIPTokenizerfromdiffusersimportAutoencoderKL

Qiming_v·2025-05-15 05:40

第6讲、全面拆解Encoder、Decoder内部模块

全面拆解Transformer架构：Encoder、Decoder内部模块解析（附流程图小测验）关键词：Transformer、Encoder、Decoder、Self-Attention、MaskedAttention

何双新·2025-05-15 04:04

大模型基础组件 - 位置编码

为什么需要位置编码自注意力机制没有顺序感知：Transformer模型中的自注意力（Self-Attention）机制计算的是输入序列中所有位置的元素之间的关系，而这些关系仅仅依赖于元素的内容，而不考虑它们在序列中的顺序

不知道起什么昵称呀·2025-05-15 01:16

Transformer中的位置编码详解

Transformers使用的位置编码方法，其中每个位置/词素都被分配一个编号。到此，位置编码的输出是一个矩阵，其中每行的每一

风筝超冷·2025-05-15 01:46

Datawhale llm-universe Task1

大语言模型的奠基之作:2017年google发表AttentionisAllyouneed.这篇文章提出了transformer结构,从此llm的发展就像雨后春笋.一个重要的现象:随着模型参数量的增大,

programer_cao·2025-05-15 01:10

聊聊Spring AI Alibaba的SentenceSplitter

SpringAIAlibaba的SentenceSplitterSentenceSplitterspring-ai-alibaba-core/src/main/java/com/alibaba/cloud/ai/transformer

·2025-05-14 16:25

【AI算法工程师必知必会】如何入门大模型微调？

入门大模型微调可遵循以下系统路径，结合核心技术原理与实战方法论逐步掌握关键能力：一、理论基础与核心概念大模型基础理解Transformer架构、注意力机制等核心原理（参考经典论文《AttentionIsAllYouNeed

AndrewHZ·2025-05-14 08:52

Transformer架构如何赋能AIGC？核心技术详解与未来展望

Transformer架构如何赋能AIGC？

AI天才研究院·2025-05-14 02:36

深度学习---常用优化器

灬0灬灬0灬·2025-05-14 01:35

推荐频道

TransFormer