Transformer？第4页

预训练语言模型之：Encoder-only PLM

1.基础架构：TransformerEncoder所有模型的基石都是TransformerEncoder结构，其核心是自注意力机制：Attention(Q,K,V)=softmax(QKTdk)V\text

抱抱宝·2025-06-25 10:36

CVPR2025

摸鱼的肚子·2025-06-25 10:06

CVPR 2024 图像处理方向总汇（图像去噪、图像增强、图像分割和图像恢复等）

1、ImageProgress(图像处理)去鬼影GeneratingContentforHDRDeghostingfromFrequencyView去阴影HomoFormer:HomogenizedTransformerforImageShadowRemoval

点云SLAM·2025-06-25 10:35

Python 调用大模型：解锁人工智能的无限可能

（四）大模型的发展历史二、Python调用大模型的实现方法（一）使用OpenAIAPI设置API密钥定义提示文本调用OpenAIAPI输出生成的文本加载预训练模型和分词器2.使用HuggingFaceTransformers

CarlowZJ·2025-06-25 10:04

第8章：智能菜谱生成器——语言模型如何解析烹饪秘方

当传统NLP系统将其简单译为"煮浓"，新一代Transformer模型却精准解析出粘度为1500-2000cP的物性指标，并据此生成控温方案。这背后的核心技术便是基于烹饪

白嫖不白嫖·2025-06-25 07:44

LeRobot: 让机械臂接入大模型

这一项目通过整合最先进的机器学习算法和便捷的开发工具链，为开发者提供了一个高效、易用的机器人AI开发平台，堪称机器人领域的“Transformer时刻”。

小众AI·2025-06-25 05:57

一起学习swin-transformer（一）

Transform学习链接从零开始设计Transformer模型（1/2）——剥离RNN，保留Attention-CSDN博客Transformer-PyTorch实战项目——文本分类_transformer

Vertira·2025-06-24 01:14

Transformer 中 QKV 流向全解析（含注意力机制箭头图示）

Transformer中注意力模块分布Transformer结构中含有三种注意力机制，每个机制都会涉及Q、K、V的构建和使用：编码器自注意力（EncoderSelf-Attention）解码器自注意力（

Accelemate·2025-06-23 15:02

基础RAG实现，最佳入门选择（二）

·2025-06-23 14:05

从零到一RedisVL 安装与运行全攻略

·2025-06-23 03:16

Patch Position Embedding (PPE) 在医疗 AI 中的应用编程分析

一、PPE的核心原理与医疗场景适配性位置编码的本质需求在医疗影像（如CT、MRI、病理切片）中，Transformer需要将图像划分为若干Patch并作为序列输入。

Allen_Lyb·2025-06-22 20:55

Transformer-LSTM+SHAP可解释性分析的回归预测Matlab代码

代码示例：%基于Transformer-LSTM+SHAP可解释性分析的回归预测Matlab代码%多输入单输出版本%步骤1：数据预处理function[X_train,y_train,X_test,y_test

默默科研仔·2025-06-22 19:51

llamafactory 微调模型出现TypeError: argument of type ‘NoneType‘ is not iterable

问题介绍本文作者碰到的问题是File“/root/miniconda3/lib/python3.12/site-packages/transformers/modeling_utils.py”,line1969

成都犀牛·2025-06-22 14:19

深度解析 ImportError: cannot import name AdamW from transformers——从报错原理到完美解决方案

在自然语言处理(NLP)领域，HuggingFace的transformers库已成为事实上的标准工具。

Tadas-Gao·2025-06-22 12:35

AI 大模型原理与应用：大模型训练突破万张卡和万亿参数 MOE 这两个临界点

AI大模型原理与应用：大模型训练突破万张卡和万亿参数MOE这两个临界点大模型、训练、万张卡、万亿参数、MOE、Transformer、深度学习、自然语言处理1.背景介绍近年来，深度学习技术取得了飞速发展

AI大模型应用之禅·2025-06-22 09:15

AIGC技术实战：使用Python实现文本生成模型

AIGC技术实战：使用Python实现文本生成模型关键词：AIGC、文本生成模型、Transformer、GPT、Python、预训练模型、自然语言处理摘要：本文以AIGC（人工智能生成内容）中的文本生成技术为核心

AI大模型应用工坊·2025-06-22 05:51

人工智能100问☞第48问：GPT是怎么生成文本的？

目录一、通俗解释二、专业解释三、权威参考GPT生成文本的核心机制是通过Transformer架构的自回归模型，基于已输入内容逐词预测概率最高的后续词汇，循环迭代直至形成完整文本。

AI算力那些事儿·2025-06-21 22:41

RedisVL CLI 用一行命令玩转向量索引

1.环境准备步骤命令说明安装核心库pipinstall-UredisvlPython≥3.8可选：安装向量化器pipinstallredisvl[all]自带sentence-transformers等依赖启动本地

Hello.Reader·2025-06-21 22:11

深度学习之模型压缩三驾马车：模型剪枝、模型量化、知识蒸馏

一、引言在深度学习中，我们训练出的神经网络往往非常庞大（比如像ResNet、YOLOv8、VisionTransformer），虽然精度很高，但“太重”了，运行起来很慢，占用内存大，不适合部署到手机、摄像头

king of code porter·2025-06-21 21:59

SIMPL论文阅读

论文链接：https://arxiv.org/pdf/2402.02519文章还没细看，但主要贡献点应该是SymmetricFusionTransformer和Bezier-basedMotionDecoder

ZHANG8023ZHEN·2025-06-21 18:43

基于大模型的尿毒症预测及综合治疗方案技术方案

目录一、算法实现伪代码1.尿毒症风险预测模型（基于多模态融合Transformer）2.动态治疗方案生成算法二、系统模块流程图1.尿毒症智能预测系统流程2.治疗方案生成子系统流程三、系统集成方案1.系统架构设计

LCG元·2025-06-21 13:40

【大模型开发】Hugging Face的Transformers库详解介绍与案例

深入解析HuggingFaceTransformers及开源大模型微调实践HuggingFaceTransformers已成为自然语言处理（NLP）乃至多模态（跨语言、图像、音频等）应用中最为流行、功能最完备的开源框架之一

云博士的AI课堂·2025-06-21 11:01

基于Transformer的语音识别模型：从理论到实现

基于Transformer的语音识别模型：从理论到实现关键词：Transformer、语音识别、注意力机制、序列建模、端到端学习、自注意力、语音特征提取摘要：本文将深入探讨基于Transformer架构的语音识别系统

AI智能探索者·2025-06-21 10:22

TopNet：基于Transformer的高效点云几何压缩网络模型详解

Transformer-based方法：利用

清风AI·2025-06-21 10:21

自然语言处理之文本分类：Transformer：文本分类数据集分析

自然语言处理之文本分类：Transformer：文本分类数据集分析自然语言处理基础NLP概述自然语言处理（NaturalLanguageProcessing，NLP）是人工智能领域的一个重要分支，专注于使计算机能够理解

zhubeibei168·2025-06-21 09:46

ADAPT：动作感知驾驶字幕转换器

ADAPT:Action-awareDrivingCaptionTransformerADAPT：动作感知驾驶字幕转换器AbstractEnd-to-endautonomousdrivinghasgreatpotentialinthetransportationindustry.However

真诚的灰灰·2025-06-20 20:18

Transformer结构介绍

[编码器Encoder]←→[解码器Decoder]编码器：输入：源语言序列输出：每个词的上下文表示(embedding)解码器：输入：目标语言序列+编码器输出输出：下一个词的概率分布（目标句子生成）inputs->inputsEmbedding+PositionalEncoding->N*encoderoutput->outputsEmbedding+PositionalEncoding->N*

大写-凌祁·2025-06-20 19:39

run docker 报错的解决办法！

miniconda$dockerrun--rm-v$(pwd)/output:/app/outputmodelscope-video/usr/local/lib/python3.8/dist-packages/transformers

微信公众号：AI创造财富·2025-06-20 16:19

【深度学习pytorch-88】BERT

BERT（BidirectionalEncoderRepresentationsfromTransformers）简介BERT是一种基于Transformer架构的预训练语言表示模型，旨在通过大规模无监督学习来提升下游自然语言处理

超华东算法王·2025-06-20 15:46

ROCm上来自Transformers的双向编码器表示（BERT）

14.8.来自Transformers的双向编码器表示（BERT）—动手学深度学习2.0.0documentation(d2l.ai)代码importtorchfromtorchimportnnfromd2limporttorchasd2l

109702008·2025-06-20 15:46

69 BERT预训练_BERT代码_by《李沐：动手学深度学习v2》pytorch版

系列文章目录文章目录系列文章目录BidirectionalEncoderRepresentationsfromTransformers(BERT)输入表示预训练任务掩蔽语言模型（MaskedLanguageModeling

醒了就刷牙·2025-06-20 15:45

炸裂提速！PyTorch 2.2 Torch.compile优化器实战：从原理到模型训练加速300%全攻略

传统训练模式的性能瓶颈在深度学习模型训练中，传统PyTorch训练模式面临诸多挑战：计算效率低下：某计算机视觉模型在A100GPU上训练，单步迭代耗时达800ms，GPU利用率不足45%内存开销大：自然语言处理Transformer

游戏人生的NPC·2025-06-20 14:41

Incremental Transformer Structure EnhancedImage Inpainting with Masking Positional Encoding笔记

摘要：近年来，图像修复取得了重大进展。然而，恢复具有生动纹理和合理结构的损坏图像仍然具有挑战性。由于卷积神经网络（CNN）的感受野有限，一些特定方法只能处理常规纹理，同时失去整体结构。另一方面，基于注意力的模型可以更好地学习结构恢复的长程依赖性，但它们受到大图像尺寸推理的大量计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复器来促进图像的增量修复。所提出的模型在固定的低分辨率草图空间中，

毕设做完了吗？·2025-06-20 14:08

Milvus/ES 插入方案对比

python-c"fromsentence_transformersimportSentenceTransformer;model=SentenceTransformer('/root/.cache/modelscope

风筝超冷·2025-06-20 14:08

TensorFlow深度学习实战——Transformer变体模型

TensorFlow深度学习实战——Transformer变体模型0.前言1.BERT2.GPT-23.GPT-34.Reformer5.BigBird6.Transformer-XL7.XLNet8.

盼小辉丶·2025-06-20 06:36

2025年大模型学习新攻略！掌握未来AI的关键技能

RAGFromScratchHuggingFaceNLP课程2.机器学习和编程基础：pytorch官方中文教程[中英字幕]吴恩达机器学习李宏毅机器学习3.Attention机制：论文:《AttentionIsAllYouNeed》Transformer

AI大模型-大飞·2025-06-19 21:09

Transformer-BIGRU多输入多输出 | Matlab实现-Transformer-BIGRU多输入多输出预测，运行环境为Matlab2023及以上

内容介绍年来，随着深度学习技术的飞速发展，基于Transformer和循环神经网络(RNN)的混合模型在时间序列预测领域展现出强大的优势。

Matlab算法改进和仿真定制工程师·2025-06-19 17:38

agentformer论文阅读

://zhuanlan.zhihu.com/p/512764984主要有这几个部分a.map_encoderi.对地图进行CNNb.ContextEncoderi.timeencoder–将时间信息用transformer

ZHANG8023ZHEN·2025-06-19 13:08

【2025CVPR】基于CNN-Transformer的高效量化EfficientQuant模型

目录一、研究背景与挑战二、核心方法：EfficientQuant架构1.结构感知块识别算法2.卷积块的均匀量化3.Transformer块的Log2量化三、创新点与优势1.结构感知量化策略2.高效硬件适配

清风AI·2025-06-19 13:33

如何让AI永远保持思考

（本文章涉及transformerencoder-decoder架构，以及自注意力和交叉注意力，请确保了解这些知识后再读取本文章）项目：永恒思考的AI（007的win11管理员）主题：将思维链作为AI生命的本体

wq舞s·2025-06-19 12:31

循环神经网络(RNN)：从理论到翻译

它出现在Transformer之前，广泛应用于文本生成、语音识别和时间序列预测（如股价预测）等领域。

Morpheon·2025-06-19 08:05

资深Java工程师的面试题目（八）AI大模型

刘一说·2025-06-18 18:31

JPA Hibernate直接执行sql 转换成dto AliasToEntityMapResultTransformer

前言公司中有一个老的项目使用了JPA+Hibernate框架，在接触了这个项目之后我的感受就是异常难用（o(╥﹏╥)o），相对于目前主流使用的Mybatis框架，在使用这种框架的项目中查询数据库有以下几种方式：使用JpaRepository映射实体类和表。@Repository@Transactional(rollbackFor=Exception.class)publicinterfaceOrd

有答案直接发给我·2025-06-18 08:16

自动驾驶---感知模型之BEVFormer

BEVFormer的提出旨在解决这一问题，通过Transformer架构实现高效的多传感器数据融合和BEV特征表示学习。BEVFormer

智能汽车人·2025-06-18 08:44

具身智能系统中的未来预测机制构建：从序列建模到动态场景生成

具身智能系统中的未来预测机制构建：从序列建模到动态场景生成关键词具身智能、未来预测、世界模型、序列建模、场景生成、Transformer、状态模拟、仿真推理、长时记忆建模、感知驱动预测摘要在具身智能系统中

观熵·2025-06-18 07:42

AI大模型的概念验证与落地

AI大模型,深度学习,Transformer,自然语言处理,计算机视觉,概念验证,落地应用,模型训练,模型部署1.背景介绍近年来，人工智能（AI）技术取得了飞速发展，其中，大模型作为AI领域的重要组成部分

AI智能应用·2025-06-18 04:19

自然语言处理(NLP)核心技术：从词嵌入到Transformer

1.NLP基础与文本表示1.1文本预处理技术importreimportnltkfromnltk.corpusimportstopwordsfromnltk.stemimportPorterStemmer,WordNetLemmatizernltk.download('punkt')nltk.download('stopwords')nltk.download('wordnet')defprepr

软考和人工智能学堂·2025-06-17 23:21

SwinTransformer 改进：结合DLKA与SSPP的模型架构

1.创新点设计引言在计算机视觉领域，Transformer架构近年来取得了巨大成功，逐渐取代了传统的CNN模型。

听风吹等浪起·2025-06-17 18:16

『大模型笔记』基于Transformer的生成式模型分布式服务系统

基于Transformer的生成式模型分布式服务系统文章目录一、生成模型的推理过程二、当前推理系统的局限1.不灵活的请求级调度（request-levelbatch）2.批处理受限于请求形状不同三、Orca

AI大模型前沿研究·2025-06-16 23:07

Transformer为何强大？揭秘多头注意力的核心机制

注意力机制首先简单回顾一下transformer的流程。我们有一句话我是秦始皇。

和老莫一起学AI·2025-06-16 20:14

推荐频道

Transformer？