TRANSFORMER 第14页

搜广推校招面经六十六

Y1nhl·2025-04-12 14:31

Transformer模型在自然语言处理中的实战应用

基于BERT的文本分类实战：从原理到部署一、Transformer与BERT核心原理Transformer模型通过自注意力机制（Self-Attention）突破了RNN的顺序计算限制，BERT（BidirectionalEncoderRepresentationsfromTransformers

Evaporator Core·2025-04-12 11:47

DeepSeek 框架的主要核心架构、关键技术、模型训练

基于Transformer架构：Transfor

meisongqing·2025-04-12 07:42

如何基于BERT模型微调出一个医疗问答的模型

BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种由Google开发的预训练语言模型，利用Transformer架构进行双向编码。

2401_89793006·2025-04-12 05:58

原生多模态大模型时代：统一感知的智能跃迁

1.模态编码统一（ModalityTokenization）2.统一骨干（Backbone）：Transformer进化体3.目标函数协同（Multi-taskPretrainingObjectives

gs80140·2025-04-11 23:24

【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）

目录一、引言二、音频分类（audio-classification）2.1概述2.2技术原理2.2.1Wav2vec2.0模型2.2.1HuBERT模型2.3pipeline参数2.3.1pipeline对象实例化参数2.3.2pipeline对象使用参数2.4pipeline实战2.4.1指令识别（默认模型）2.4.2情感识别2.5模型排名三、总结一、引言pipeline（管道）是hugging

LDG_AGI·2025-04-11 21:42

多语种语音识别新突破：使用Transformers微调Whisper模型，实现精准识别！

前言本文提供了一个使用HuggingFaceTransformers在任意多语种语音识别(ASR)数据集上微调Whisper的分步指南。

大模型入门学习·2025-04-11 21:39

大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合

大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合引言自2017年"AttentionIsAllYouNeed"论文横空出世，Transformer架构便以其卓越的性能重塑了自然语言处理乃至更广泛的

流云雲·2025-04-11 18:18

Transformer、BERT以及GPT系列联系

①Transformer使用自注意力机制进行编码和解码，能够处理长序列数据；②BERT使用掩码语言模型和下一句预测任务进行训练，能够在不同的自然语言处理任务中取得良好的效果；③GPT大模型是一种基于自回归模型的语言模型

小裴（碎碎念版）·2025-04-11 14:18

复现：SonarNet: Hybrid CNN-Transformer-HOG Framework and Multifeature Fusion Mechanism for Forward-Look

J.He,J.Chen,H.XuandY.Yu,“SonarNet:HybridCNN-Transformer-HOGFrameworkandMultifeatureFusionMechanismforForward-LookingSonarImageSegmentation

hanfeng5268·2025-04-11 09:21

人工智能大模型原理与应用实战：大规模模型在自动摘要中的应用

人工智能大模型原理与应用实战：大规模模型在自动摘要中的应用关键词：人工智能，大模型，自动摘要，Transformer，预训练，微调，自然语言处理1.背景介绍随着互联网和信息技术的飞速发展，我们每天都面临着海量信息的冲击

AI天才研究院·2025-04-11 07:05

人工智能：GPT技术应用与未来展望

GPT（GenerativePre-trainedTransformer）作为自然语言处理领域的代表性技术，近年来在各行业的实际应用中展现出广泛潜力。

meisongqing·2025-04-11 07:34

【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example

目录手动求解Transformer：分步数学示例UnderstandingTransformers:AStep-by-StepMathExample—Part1了解Transformer：分步数学示例—

AI天才研究院·2025-04-11 02:04

从编码器和词嵌入开始：Transformer架构详解（上）-ChatGPT4o作答+王木头学科学阅读理解

Transformer架构是由Vaswani等人在2017年提出的，旨在解决序列到序列问题（如机器翻译）。

部分分式·2025-04-11 01:31

大模型架构演进：从Transformer到Mixture of Experts（MoE）

1.Transformer架构基础1.1Transformer架构原理Transformer架构是大模型发展的重要基石，其核心原理基于自注意力机制（Self-AttentionMechanism）。

学习ing1·2025-04-10 23:13

Hugging Face核心组件介绍

HuggingFace账户2.2.安装HuggingFace库3.模型探索与下载3.1.在模型库中搜索模型4.HuggingFaceAPI使用4.1.匿名访问API4.2.使用InferenceAPI5.使用Transformers

EOPG·2025-04-10 18:14

4.1论文阅读

二：TransformerswithoutNormalization论文这是大佬出的文章，所以当然要认

咕噜咕噜开心加油·2025-04-10 17:37

huggingface(三)

本片文章思路参考B站视频【翻遍整个B站，这绝对是2025讲的最好的HuggingFace教程，带你3小时吃透huggingface与Transformers，少走99%的弯路！】

、水水水水水·2025-04-10 16:33

基于pytorch的Swin Transformer用于cifar10分类

在上篇文章基于pytorch的VisionTransformer用于cifar10分类中我们了解VIT在视觉分类中的应用，在本篇文章中将介绍另一种transformer模型-SwinTransformer

厚衣服_3·2025-04-10 14:50

多模态大模型：技术原理与实战 GPT4多模态大模型核心技术介绍

多模态大模型：技术原理与实战GPT-4多模态大模型核心技术介绍1.背景介绍1.1人工智能的发展历程1.1.1早期人工智能1.1.2机器学习时代1.1.3深度学习革命1.2大语言模型的崛起1.2.1Transformer

AI大模型应用之禅·2025-04-10 12:06

大模型位置编码：RoPE的优化方案

写在前面在Transformer架构中，位置编码（PositionalEncoding,PE）是让模型理解Token顺序的关键技术。

kakaZhui·2025-04-10 06:23

具身智能零碎知识点（一）：深入解析Transformer位置编码

深入解析Transformer位置编码Transformer位置编码完全解析：从公式到计算的终极指南一、位置编码的必要性演示二、位置编码公式深度拆解原始公式参数说明（以d_model=4为例）三、完整计算过程演示步骤

墨绿色的摆渡人·2025-04-10 04:16

语音识别whisper

Whisper的架构是一个简单的端到端方法，采用了编码器-解码器的Transformer模型，将输入的音频转换为对应的文本序列，并根据特殊的标记来指定不同的任务2。要使用Whisper模型，

caridle·2025-04-09 22:59

白话文讲解大模型必修基础知识 | Transformer架构（小白也能看懂）

前言Transformer架构自2017年被提出以来，已经成为自然语言处理（NLP）领域的核心模型之一。

大模型面试·2025-04-09 18:34

Windows Anaconda使用Sentence-BERT获取句子向量

1、安装Anaconda：Anaconda是一个流行的Python数据科学平台，它包含了许多科学计算和数据分析的库，包括transformers和sentence_transformers。

DavidSoCool·2025-04-09 14:07

理解Transformer的整体架构与关键技术（非常详细），零基础入门到精通，看这一篇就够了

前言从2022年底ChatGPT发布以来，人工智能迅速在全社会火爆，ChatGPT背后的一个重要的技术进步就是Transformer架构，这个架构是当下大模型的核心技术支撑，所以要理解当下大模型技术及其未来的发展

agi大模型·2025-04-09 09:08

Transformer 架构详解

Transformer架构是由AshishVaswani和他的同事们在2017年的论文《AttentionisAllYouNeed》中首次提出的。

培根芝士·2025-04-09 09:06

【大模型学习】第十七章预训练技术综述

目录一、预训练技术的起源与演进1.1人工智能的范式转变1.2预训练的技术演进史二、预训练的本质：像人类一样学习2.1生活中的预训练启示2.2技术定义与核心价值三、预训练的技术解剖3.1核心架构：Transformer

好多渔鱼好多·2025-04-09 08:00

DeepSeek与ChatGPT：AI语言模型的全面技术解析与对比（万字深度版）

其技术路径以Transformer架构为基础，通过堆叠参数规模（如GPT-4参数量达万亿级）与强化学习对齐人类反馈（RLHF），逐

猫猫姐·2025-04-09 07:50

【NLP 面经 6】

当上帝赐予你荒野时，就意味着，他要你成为高飞的鹰——25.4.3一、机器翻译任务，Transformer结构模型改进在自然语言处理的机器翻译任务中，你采用基于Transformer架构的模型。

L_cl·2025-04-09 05:42

Transformer预测 | 基于WTC+transformer时间序列组合预测模型（pytorch）

目录效果一览基本介绍程序设计参考资料效果一览基本介绍WTC+transformer时间序列组合预测模型WTC,transformer创新点，超级新。先发先得，高精度代码。

机器学习之心·2025-04-08 21:52

【NLP】Transformer网络结构（2）

一、Transformer整体架构Transformer由Encoder和Decoder堆叠组成，每个Encoder/Decoder层包含以下核心模块：Encoder层：Multi-HeadSelf-Attention

油泼辣子多加·2025-04-08 15:41

Transformer算法详解及代码复现

模型架构概述Transformer模型是自然语言处理领域的革命性突破，其核心设计理念巧妙地结合了自注意力机制和编码器-解码器架构。

清风AI·2025-04-08 13:28

以微调deepseek为例，基于transformers改写实现lora+

LoRA+:EfficientLowRankAdaptationofLargeModels24年2月12的论文，主要思想就是对LoRA进行了一些改进，提升了模型效果。摘要证明了对Lora的A和B使用相同的学习率无法有效的特征学习。还证明了通过以一个良好选择的固定比率设置不同的学习速率来修正，可以提升模型效果。这种算法为LoRA+。在实验中，LoRA+提高了性能（1%的−2%的提高）和微调速度，计算

淡水，·2025-04-08 11:41

ViT（Vision Transformer） VS CLIP

一、核心概念1.ViT（VisionTransformer）概念：ViT是基于Transformer架构的图像处理模型，将图像分割为固定大小的“patch”（图像块），类似文本处理中的token，通过自注意力机制捕捉全局特征

charles666666·2025-04-08 09:28

LLM架构与关键技术解析

标题：LLM架构与关键技术解析文章信息摘要：理解LLM的架构和关键技术（如Transformer、注意力机制、采样技术）是成为LLM科学家的基础，这些技术为模型的构建和优化提供了理论支持。

XianxinMao·2025-04-08 02:18

视音双模态融合

LeveragingTCNandTransformerforeffectivevisual-audiofusionincontinuousemotionrecognition利用TCN和Transformer

阿冰在努力·2025-04-08 00:06

修复AttributeError: BertTokenizerFast has no attribute pad_token

ChatTTS-OpenVoice这个项目时，遇到：(.venv虚拟环境python3.11.11)AttributeError:BertTokenizerFasthasnoattributepad_token这是由于transformers

love530love·2025-04-07 21:43

PyTorch 实现图像版多头注意力（Multi-Head Attention）和自注意力（Self-Attention）

本文提供一个适用于图像输入的多头注意力机制（Multi-HeadAttention）PyTorch实现，适用于ViT、MAE等视觉Transformer中的注意力计算。

AIGC_增益·2025-04-07 17:46

【JCR一区级】非洲秃鹫算法AVOA-Transformer-GRU负荷数据回归预测【含Matlab源码 6313期】

Matlab武动乾坤博客之家

Matlab武动乾坤·2025-04-07 13:23

深度学习的疑问--Transformer【4】：为什么我看有些模型在使用transformer的时候会用一个encoder+一个positioning encoding？

总结：positioningencoding位置编码模块主要是用于为Transformer提供输入序列的位置信息。那位置编码模块是如何提供位置信息的呢？

君莫笑∽GL·2025-04-07 07:19

MLP/CNN/RNN/Transformer主流深度学习模型的区别

1.多层感知机（MLP）核心特征：结构：MLP是一种基本的前馈神经网络，包含一个输入层、一个或多个隐藏层以及一个输出层。每层由全连接的神经元组成。用途：适用于简单的分类和回归任务。限制：不适用于处理序列数据或图像数据，因为它不具备处理输入之间时间或空间关系的能力。数学表达：2.卷积神经网络（CNN）核心特征：结构：由卷积层、池化层（下采样）和全连接层组成。用途：特别适合于图像处理，用于图像分类、对

鬼马行天·2025-04-07 07:49

Transformer-BiGRU锂电池剩余寿命预测 | Matlab基于Transformer-BiGRU的锂电池剩余寿命预测

✅作者简介：热爱数据处理、数学建模、仿真设计、论文复现、算法创新的Matlab仿真开发者。更多Matlab代码及仿真咨询内容点击主页：Matlab科研工作室个人信条：格物致知，期刊达人。内容介绍锂离子电池作为一种重要的储能器件，广泛应用于电动汽车、便携式电子设备以及储能电站等领域。准确预测锂电池的剩余寿命(RemainingUsefulLife,RUL)对保障设备安全运行、优化电池管理策略以及降低

matlab科研社·2025-04-07 07:45

【自然语言处理】BERT模型

BERT：BidirectionalEncoderRepresentationsfromTransformersBERT是Google于2018年提出的自然语言处理（NLP）模型，它基于Transformer

藓类少女·2025-04-07 00:03

NLP/大模型八股专栏结构解析

Chaos_Wang_·2025-04-06 23:26

VectorBT：使用PyTorch+Transformer训练和回测股票模型进阶五

VectorBT：使用PyTorch+Transformer训练和回测股票模型进阶五本方案基于PyTorch框架与Transformer模型，结合VectorBT回测引擎构建多股票量化交易系统，采用滑动窗口技术构建时序特征

船长@Quant·2025-04-06 22:21

NLP任务之文本分类(情感分析)

定义下游任务模型6测试代码7训练代码#做（中文与英文的）分类任务，Bert模型比较合适，用cls向下游任务传输数据，做分类任务#Bert模型要求一般传一个句子对（两句话）1加载预训练模型对应的分词器fromtransformersimportAutoTokenizer

Hiweir ··2025-04-06 19:57

NLP任务之翻译

pipinstallsentencepiece-iSimpleIndex#sentencepiece开源工具，可以更好的生成词向量1加载预训练模型的分词器fromtransformersim