Transformer·

transformers.deepspeed

报错：nomodulenamedtransformers.deepspeed原因：版本更新后，已取消transformers.deepspeed新版本中更改为transformers.integrations.deepspeed

icesord·2025-03-03 02:56

【AI大模型】Transformers大模型库（九）：大模型微调之计算微调参数占比

目录一、引言二、计算微调参数占比2.1概述2.2模型参数结构一览2.3微调参数占比计算三、总结一、引言这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测

LDG_AGI·2025-03-03 01:45

大模型微调入门（Transformers + Pytorch）

目标输入：你是谁？输出：我们预训练的名字。训练为了性能好下载小参数模型，普通机器都能运行。下载模型#方式1：使用魔搭社区SDK下载#down_deepseek.pyfrommodelscopeimportsnapshot_downloadmodel_dir=snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')#方式2：gitl

昵称不能为null·2025-03-03 00:06

大语言模型技术专栏（三）：Attention机制——从RNN到Transformer的惊世一跃！

文章目录概要一、Attention机制：让AI学会「划重点」二、Attention机制的核心原理三、Self-Attention：Transformer的核心四、代码实战：用PyTorch实现Attention

北海yy·2025-03-02 22:53

Transformer 代码剖析7 - 词元嵌入(TokenEmbedding) （pytorch实现）

一、类定义与继承关系剖析1.1代码结构图示神经网络基础模块词嵌入基类自定义词元嵌入构造函数定义基类初始化词汇量参数维度参数填充标识参数1.2代码实现精讲"""@author:Hyunwoong@when:2019-10-22@homepage:https://github.com/gusdnd852"""fromtorchimportnnclassTokenEmbedding(nn.Embeddi

lczdyx·2025-03-02 22:50

Transformer模型详解

导读Transformer在许多的人工智能领域，如自然语言处理(NaturalLanguageProcessing,NLP)、计算机视觉(ComputerVision,CV)和语音处理(SpeechProcessing

Yuki-^_^·2025-03-02 21:46

Transformer架构深度研究报告（二、分层原理）

一、Transformer不同层作用剖析1.1低层作用在Transformer架构中，低层（1-3层）主要承担着局部语法建模的关键任务，其对语言基础结构的理解和处理为后续高层语义分析奠定了坚实基础。

jiaojieran·2025-03-02 20:36

1.7 Kaggle大白话：Eedi竞赛Transformer框架解决方案07-调用AI模型输出结果

目录0.本栏目竞赛汇总表1.本文主旨2.调用AI模型输出结果架构3.模型准备3.1代码实现3.2大白话模型准备4.数据处理4.1代码实现4.2大白话数据处理5.特征提取5.1代码实现5.2大白话特征提取6.相似度匹配6.1代码实现6.2大白话相似度匹配7.系列总结7.1章节回顾7.2竞赛排名7.3其他优秀项目（皆为竞赛金牌）0.本栏目竞赛汇总表Kaggle竞赛汇总1.本文主旨大白话：上一篇文章中，

AI量金术师·2025-03-02 19:59

深度学习五大模型：CNN、Transformer、BERT、RNN、GAN解析

今天探讨它们各自适用的场景，让您知道在何种情况下选择何种模型；同时分析它们的优势与局限，助您全面评估这些模型的性能。一、卷积神经网络（ConvolutionalNeuralNetwork,CNN）原理：CNN主要由卷积层、池化层和全连接层组成。卷积层通过卷积核在输入数据上进行卷积运算，提取局部特征；池化层则对特征图进行下采样，降低特征维度，同时保留主要特征；全连接层将特征图展开为一维向量，并进行分

大模型_学习路线·2025-03-02 16:04

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

7B/13B/70B参数规模下保持线性计算复杂度扩展性强化：通过改进注意力机制支持4k上下文长度安全性内嵌：在预训练阶段融入5%安全语料，降低有害输出概率（较前代下降34%）二、核心模块创新1.改进型Transformer

AI时代已来！·2025-03-02 14:46

【Pytorch】基于LSTM-KAN、BiLSTM-KAN、GRU-KAN、TCN-KAN、Transformer-KAN(各种KAN修改一行代码搞定)的共享单车租赁预测研究(数据可换)Python

目录⛳️赠与读者1概述一、研究背景与意义二、TCN与KAN简介三、基于TCN-KAN的共享单车租赁预测模型四、研究挑战与展望基于LSTM-KAN、BiLSTM-KAN、GRU-KAN、TCN-KAN、Transformer-KAN

冒泡芳·2025-03-02 13:08

Transformer 代码剖析9 - 解码器模块Decoder （pytorch实现）

一、模块架构全景图1.1核心功能定位Transformer解码器是序列生成任务的核心组件，负责根据编码器输出和已生成序列预测下一个目标符号。

lczdyx·2025-03-02 13:05

Transformer预测 | 基于TCN-Transformer的股票价格预测（Pytorch）

文章目录预测效果文章概述程序设计参考资料预测效果文章概述Transformer预测|基于TCN-Transformer的股票价格预测（Python）Transformer模型本质上都是预训练语言模型，大都采用自监督学习

机器学习之心·2025-03-02 13:35

如何用AI写程序

一、AI写程序之工具选择（一）主流AI编程工具介绍如今市面上有诸多AI编程工具可供选择，以下为大家介绍几种常见且实用的工具：ChatGPT：由OpenAI开发的一款基于Transformer架构的预训练模型

Honmaple·2025-03-02 11:46

实体识别处理--在给定的文本中识别特定类型的实体

代码结构和模块分析1.导入必要的库importtorchfromtorchimportnnfromtransformersimportBertTokenizer,BertModelfro

风清扬【coder】·2025-03-01 21:04

【大模型】大模型分类

计算机视觉（CV）模型如ResNet、EfficientNet、VisionTransformer(ViT)等，用于图

IT古董·2025-03-01 16:29

全方位解析：大语言模型评测方法的综合指南

自2017年Transformer模型提出以来，自然语言处理研究逐步转向基于该框架的预训练模型，如BERT、GPT、BART和T5等。这些预训练模型与下游任务适配后，持续刷新最优结果。

大模型玩家·2025-03-01 08:28

Transformer 代码剖析1 - 数据处理（pytorch实现）

引言Transformer架构自《AttentionIsAllYouNeed》论文发表以来，在自然语言处理领域引起了巨大的变革。

lczdyx·2025-03-01 06:18

BERT模型深入理解——自然语言处理的里程碑

1BERT的诞生背景2018年谷歌团队发布了BERT（BidirectionalEncoderRepresentationsfromTransformers）模型，在自然语言处理领域引领了技术性的革命。

cufewxy2018·2025-03-01 06:47

大模型技术在电商平台商品评价分析中的应用

大模型技术在电商平台商品评价分析中的应用关键词：大模型技术电商平台商品评价分析情感分析商品推荐Transformer模型BERT模型摘要：本文详细探讨了大模型技术在电商平台商品评价分析中的应用。

AI天才研究院·2025-03-01 05:35

Transformer 代码剖析8 - 编码器模块Encoder （pytorch实现）

一、代码结构总览TransformerEncoder__init__初始化Encoder类forward前向传播super()父类初始化构建词嵌入层self.emb=TransformerEmbedding

lczdyx·2025-03-01 04:26

Transformer 代码剖析4 - 编码器层实现（pytorch实现）

一、EncoderLayer-类结构定义参考：项目代码classEncoderLayer(nn.Module):def__init__(self,d_model,ffn_hidden,n_head,drop_prob):super(EncoderLayer,self).__init__()self.attention=MultiHeadAttention(d_model=d_model,n_hea

lczdyx·2025-02-28 22:46

【AI论文】SongGen：用于文本到歌曲生成的单阶段自回归Transformer模型

在本文中，我们提出了SongGen，一个完全开源的单阶段自回归Transformer模型，专为可控歌曲生成而设计。

东临碣石82·2025-02-28 15:58

transformer中seq_len参数的设置

在Transformer模型中，seq_len（序列长度）是一个关键的超参数，下面从不同方面详细介绍它的具体含义和作用：一、基本定义seq_len表示输入到Transformer模型中的序列所允许的最大长度

yuweififi·2025-02-28 10:49

pytorch基础 nn.embedding

这是许多NLP模型（包括Transformer）中的基本组件。

yuweififi·2025-02-28 10:49

Transformer 代码剖析2 - 模型训练（pytorch实现）

一、模型初始化模块参考：项目代码1.1参数统计函数defcount_parameters(model):returnsum(p.numel()forpinmodel.parameters()ifp.requires_grad)遍历模型参数筛选可训练参数统计参数数量返回总数技术解析：numel()方法计算张量元素总数requires_grad筛选需要梯度更新的参数统计结果反映模型复杂度，典型Tran

lczdyx·2025-02-28 09:38

大模型专栏博文汇总和索引

Donvink·2025-02-28 03:53

ELMo ，LM：一串词序列的概率分布probability distribution over sequences of words

Languagemodelisaprobabilitydistributionoversequencesofwords.GPT与ELMo当成特征的做法不同，OpenAIGPT不需要再重新对任务构建新的模型结构，而是直接在transformer

强化学习曾小健·2025-02-27 22:05

DeepSeek应用领域全景解析：驱动产业智能化升级的六大核心方向

本文基于官方技术文档与行业实践案例，深入剖析DeepSeek在六大核心领域的应用突破与商业价值实现二、技术底座：支撑多领域落地的三大创新架构1.Transformer-XL增强架构通过引入Multi-HeadLate

量子纠缠BUG·2025-02-27 21:32

Ollama本地私有化部署通义千问大模型Qwen2.5

目录Qwen2.5介绍Qwen2.5新闻Ollama介绍Linux安装Ollama一键安装Ollama手工安装Ollama卸载OllamaOllama运行Qwen2基于Transformers进行推理本文复现环境

ErbaoLiu·2025-02-27 20:17

救命！论文被知网判定AI生成？别慌！手把手教你3分钟自救

上周有个同学写"Transformer模型"

chatpaper001·2025-02-27 18:37

VIT（Vision Transformer）【超详细 pytorch实现

CNN的局限性：传统的CNN通过局部卷积核提取特征，虽然可以通过堆叠多层卷积扩大感受野，但仍然依赖于局部信息的逐步聚合，难以直接建模全局依赖关系。ViT的优势：ViT使用自注意力机制（Self-Attention），能够直接捕捉图像中所有patch（图像块）之间的全局关系。这种全局建模能力在处理需要长距离依赖的任务（如图像分类、目标检测）时表现更好。全流程图像预处理+分块图像尺寸标准化，如(224

周玄九·2025-02-27 17:54

大语言模型原理与工程实践：Transformer 大语言模型预训练

大语言模型原理与工程实践：Transformer大语言模型预训练关键词：大语言模型、预训练、Transformer、自监督学习、计算资源、数据处理文章目录大语言模型原理与工程实践：Transformer

AI天才研究院·2025-02-27 16:18

大模型核心技术原理: Transformer架构详解！

在大模型发展历程中，有两个比较重要点：第一，Transformer架构。它是模型的底座，但Transformer不等于大模型，但大模型的架构可以基于Transformer；第二，GPT。

大模型猫叔·2025-02-27 16:13

自动驾驶之BEVDet

经典主干网络比如resnet,SwinTransformer等。neck有==FPN==,PAFPN等。

maxruan·2025-02-27 16:13

用于训练基于pytorch构建的小型字符级语言模型的数据集汇总

前文，我们从零开始基于transformer框架在pytorch上构建一个小型字符级语言模型，并编写了完整的python示例，模型是需要训练的，所以在原有代码的基础上，我们寻找一些公开的数据集对模型进行训练

搏博·2025-02-27 06:03

深度学习的前沿与挑战：从基础到最新进展

深度学习的工作原理深度学习的关键技术1.卷积神经网络（CNN）2.循环神经网络（RNN）3.生成对抗网络（GAN）4.变分自编码器（VAE）5.自注意力机制与Transformer深度学习的应用1.计算机视觉

Jason_Orton·2025-02-27 03:09

如何利用GPT创作诗歌与短篇故事赚钱

GenerativePre-trainedTransformer（GPT）作为一种强大的自然语言处理工具，为普通人提供了创作诗歌和短篇故事的新途径，并能够通过这些创作实现赚钱的机会。

·2025-02-27 00:08

AI岗位面试指南：高频文档问题解析与应答策略

一、必问文档类问题与应答模板1.简历深挖类典型问题："请详细解释简历中提到的「基于Transformer的文本生成优化项目」，你如何量化性能提升？"

阿三0812·2025-02-26 19:07

从零开始：使用PyTorch构建DeepSeek R1模型及其训练详解

DeepSeekR1是一个假设的模型名称，为了演示目的，我们将构建一个基于Transformer的简单文本生成模型。

陆鳐LuLu·2025-02-26 19:02

DeepSeek API是什么

DeepSeekAPI通常基于先进的大模型，如Transformer架构的模型，提供了强大的语言理解和生成能力。

兔兔爱学习兔兔爱学习·2025-02-26 18:28

【深度学习】Transformer入门：通俗易懂的介绍

【深度学习】Transformer入门：通俗易懂的介绍一、引言二、从前的“读句子”方式三、Transformer的“超级阅读能力”四、Transformer是怎么做到的？

知识靠谱·2025-02-26 07:12

【百问百答系列】-全面了解Transformer（未来发展）

【百问百答系列】-全面了解Transformer引言初次接触Transformer时，那些复杂的概念和精妙的架构设计，着实让我困惑不已。

什么都想学的阿超·2025-02-26 04:51

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

前言近年来，基于Transformer架构的预训练语言模型如GPT、BERT等已经取得了显著的成果，广泛应用于自然语言处理（NLP）的各个领域。

煤炭里de黑猫·2025-02-25 21:02

机器学习01

dataframe那样的数据，要进行特征提取，比如字典特征提取，文本特征提取)无量纲化(预处理)归一化标准化降维底方差过滤特征选择主成分分析-PCA降维1.特征工程API实例化转换器对象，转换器类有很多，都是Transformer

天行者@·2025-02-25 20:53

告别复杂分词：Transformers轻松搞定文本处理

今天这篇文章将带你一起走进一个深受AI界热爱的工具——Transformers库，特别是AutoTokenizer的神奇功能。这个工具可以让你轻松处理文本，节省时间，还能保证高效准确。

星际编程喵·2025-02-25 09:08

GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析(二)

NLP_Matrix_Space5.2GPT-2源码实现逐行解析本节讲解GPT-2源码，gpt2.py是一个使用NumPy实现的代码，在代码中实现了GELU激活函数、softmax函数、层归一化、线性层、前馈神经网络、多头自注意力机制、Transformer

段智华·2025-02-25 09:35

开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能

但是目前只有HFtransformers和vLLM支持该模型。二、术语介绍2.1.混合专家(MoE)架构是一种机器学习模型的结构设计,它将一个复杂的任务分解成多个相对简单的子任务,

开源技术探险家·2025-02-25 07:55

深度学习笔记——常见的Transformer位置编码

本文详细介绍3种常见的Transformer位置编码——正弦/余弦位置编码（sin/cos）、基于频率的二维位置编码（2DFrequencyEmbeddings）、旋转式位置编码（RoPE）文章目录Transformer

好评笔记·2025-02-25 01:05

为什么词向量和权重矩阵dot运算就能得到想要的效果呢？

具体来说，在自然语言处理任务中，这种操作通常出现在如Transformer模型中的自注意力机制里。让我们深入探讨一下为什么这种方

cjl30804·2025-02-24 15:02

推荐频道