扩散Transformer 第2页

Transformer 代码剖析8 - 编码器模块Encoder （pytorch实现）

一、代码结构总览TransformerEncoder__init__初始化Encoder类forward前向传播super()父类初始化构建词嵌入层self.emb=TransformerEmbedding

lczdyx·2025-03-01 04:26

Transformer 代码剖析4 - 编码器层实现（pytorch实现）

一、EncoderLayer-类结构定义参考：项目代码classEncoderLayer(nn.Module):def__init__(self,d_model,ffn_hidden,n_head,drop_prob):super(EncoderLayer,self).__init__()self.attention=MultiHeadAttention(d_model=d_model,n_hea

lczdyx·2025-02-28 22:46

【AI论文】SongGen：用于文本到歌曲生成的单阶段自回归Transformer模型

在本文中，我们提出了SongGen，一个完全开源的单阶段自回归Transformer模型，专为可控歌曲生成而设计。

东临碣石82·2025-02-28 15:58

猿大师播放器：HTML内嵌VLC播放RTSP视频流，无需转码，300ms级延迟，碾压服务器转码方案

然而，行业普遍面临三大矛盾：‌实时性要求与高延迟矛盾‌：火灾蔓延速度达1米/秒，化工泄漏扩散仅需数秒，传统方案3秒以上的延迟可能导致应急决策失效‌；‌高清化趋势与成本压力矛盾‌：4K/H.265设备普及率超

猿大师播放器·2025-02-28 15:57

transformer中seq_len参数的设置

在Transformer模型中，seq_len（序列长度）是一个关键的超参数，下面从不同方面详细介绍它的具体含义和作用：一、基本定义seq_len表示输入到Transformer模型中的序列所允许的最大长度

yuweififi·2025-02-28 10:49

pytorch基础 nn.embedding

这是许多NLP模型（包括Transformer）中的基本组件。

yuweififi·2025-02-28 10:49

Transformer 代码剖析2 - 模型训练（pytorch实现）

一、模型初始化模块参考：项目代码1.1参数统计函数defcount_parameters(model):returnsum(p.numel()forpinmodel.parameters()ifp.requires_grad)遍历模型参数筛选可训练参数统计参数数量返回总数技术解析：numel()方法计算张量元素总数requires_grad筛选需要梯度更新的参数统计结果反映模型复杂度，典型Tran

lczdyx·2025-02-28 09:38

《AI 大模型 ChatGPT 的传奇》

1.4算法层面的跃升1.4.1RNN到transformor1.4.2扩散模型diffusion1.4.3跨模态的CLIP框架1.5AIGC的耀眼成果1.5.1AI

武昌库里写JAVA·2025-02-28 04:33

大模型专栏博文汇总和索引

Donvink·2025-02-28 03:53

扩散模型基本概念

1.核心思想从最原始的DDPM来讲，扩散模型是用变分估计训练的马尔可夫链，相当于VAE+流模型。与标准化流相比，扩散模型的正向过程为预先定义的加噪过程，负责将图像x∼p(x)x\sim{p(x)}x∼

AndrewHZ·2025-02-28 00:57

VQ-Diffusion 深度解析与实战指南

gitcode.com/gh_mirrors/vqd/VQ-Diffusion1.项目介绍VQ-Diffusion是一个用于文本到图像合成的深度学习模型，基于矢量量化变分自编码器（VQ-VAE）和去噪扩散概率模型

晏灵昀Odette·2025-02-27 23:45

ELMo ，LM：一串词序列的概率分布probability distribution over sequences of words

Languagemodelisaprobabilitydistributionoversequencesofwords.GPT与ELMo当成特征的做法不同，OpenAIGPT不需要再重新对任务构建新的模型结构，而是直接在transformer

强化学习曾小健·2025-02-27 22:05

DeepSeek应用领域全景解析：驱动产业智能化升级的六大核心方向

本文基于官方技术文档与行业实践案例，深入剖析DeepSeek在六大核心领域的应用突破与商业价值实现二、技术底座：支撑多领域落地的三大创新架构1.Transformer-XL增强架构通过引入Multi-HeadLate

量子纠缠BUG·2025-02-27 21:32

Ollama本地私有化部署通义千问大模型Qwen2.5

目录Qwen2.5介绍Qwen2.5新闻Ollama介绍Linux安装Ollama一键安装Ollama手工安装Ollama卸载OllamaOllama运行Qwen2基于Transformers进行推理本文复现环境

ErbaoLiu·2025-02-27 20:17

救命！论文被知网判定AI生成？别慌！手把手教你3分钟自救

上周有个同学写"Transformer模型"

chatpaper001·2025-02-27 18:37

VIT（Vision Transformer）【超详细 pytorch实现

CNN的局限性：传统的CNN通过局部卷积核提取特征，虽然可以通过堆叠多层卷积扩大感受野，但仍然依赖于局部信息的逐步聚合，难以直接建模全局依赖关系。ViT的优势：ViT使用自注意力机制（Self-Attention），能够直接捕捉图像中所有patch（图像块）之间的全局关系。这种全局建模能力在处理需要长距离依赖的任务（如图像分类、目标检测）时表现更好。全流程图像预处理+分块图像尺寸标准化，如(224

周玄九·2025-02-27 17:54

大语言模型原理与工程实践：Transformer 大语言模型预训练

大语言模型原理与工程实践：Transformer大语言模型预训练关键词：大语言模型、预训练、Transformer、自监督学习、计算资源、数据处理文章目录大语言模型原理与工程实践：Transformer

AI天才研究院·2025-02-27 16:18

大模型核心技术原理: Transformer架构详解！

在大模型发展历程中，有两个比较重要点：第一，Transformer架构。它是模型的底座，但Transformer不等于大模型，但大模型的架构可以基于Transformer；第二，GPT。

大模型猫叔·2025-02-27 16:13

自动驾驶之BEVDet

经典主干网络比如resnet,SwinTransformer等。neck有==FPN==,PAFPN等。

maxruan·2025-02-27 16:13

用于训练基于pytorch构建的小型字符级语言模型的数据集汇总

前文，我们从零开始基于transformer框架在pytorch上构建一个小型字符级语言模型，并编写了完整的python示例，模型是需要训练的，所以在原有代码的基础上，我们寻找一些公开的数据集对模型进行训练

搏博·2025-02-27 06:03

深度学习的前沿与挑战：从基础到最新进展

深度学习的工作原理深度学习的关键技术1.卷积神经网络（CNN）2.循环神经网络（RNN）3.生成对抗网络（GAN）4.变分自编码器（VAE）5.自注意力机制与Transformer深度学习的应用1.计算机视觉

Jason_Orton·2025-02-27 03:09

多模态｜开源多模态模型Emu3 & 多模态预训练模型CLIP对比

Emu3在生成和感知方面都表现出色Emu3在生成和感知任务方面都优于几个成熟的任务特定模型，超越了SDXL、LLaVA-1.6和OpenSora-1.2等旗舰开放模型，同时消除了对扩散或组合架构的需求

产品媛Gloria Deng·2025-02-27 03:08

TEST-用css实现矩形扩散动画效果制作一个简约科技按钮

测试目的：用css实现矩形扩散动画效果简单实现一个简约科技按钮前几天在网上找漂亮的功能组件时看见有人用css实现圆形的具有波纹扩散动画效果的按钮，效果挺好看的，但是作为设计作者觉得矩形的过渡棱角科技感更饱满一些

@C_Cheng·2025-02-27 02:01

如何利用GPT创作诗歌与短篇故事赚钱

GenerativePre-trainedTransformer（GPT）作为一种强大的自然语言处理工具，为普通人提供了创作诗歌和短篇故事的新途径，并能够通过这些创作实现赚钱的机会。

·2025-02-27 00:08

AI岗位面试指南：高频文档问题解析与应答策略

一、必问文档类问题与应答模板1.简历深挖类典型问题："请详细解释简历中提到的「基于Transformer的文本生成优化项目」，你如何量化性能提升？"

阿三0812·2025-02-26 19:07

从零开始：使用PyTorch构建DeepSeek R1模型及其训练详解

DeepSeekR1是一个假设的模型名称，为了演示目的，我们将构建一个基于Transformer的简单文本生成模型。

陆鳐LuLu·2025-02-26 19:02

DeepSeek API是什么

DeepSeekAPI通常基于先进的大模型，如Transformer架构的模型，提供了强大的语言理解和生成能力。

兔兔爱学习兔兔爱学习·2025-02-26 18:28

【深度学习】Transformer入门：通俗易懂的介绍

【深度学习】Transformer入门：通俗易懂的介绍一、引言二、从前的“读句子”方式三、Transformer的“超级阅读能力”四、Transformer是怎么做到的？

知识靠谱·2025-02-26 07:12

【百问百答系列】-全面了解Transformer（未来发展）

【百问百答系列】-全面了解Transformer引言初次接触Transformer时，那些复杂的概念和精妙的架构设计，着实让我困惑不已。

什么都想学的阿超·2025-02-26 04:51

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

前言近年来，基于Transformer架构的预训练语言模型如GPT、BERT等已经取得了显著的成果，广泛应用于自然语言处理（NLP）的各个领域。

煤炭里de黑猫·2025-02-25 21:02

机器学习01

dataframe那样的数据，要进行特征提取，比如字典特征提取，文本特征提取)无量纲化(预处理)归一化标准化降维底方差过滤特征选择主成分分析-PCA降维1.特征工程API实例化转换器对象，转换器类有很多，都是Transformer

天行者@·2025-02-25 20:53

告别复杂分词：Transformers轻松搞定文本处理

今天这篇文章将带你一起走进一个深受AI界热爱的工具——Transformers库，特别是AutoTokenizer的神奇功能。这个工具可以让你轻松处理文本，节省时间，还能保证高效准确。

星际编程喵·2025-02-25 09:08

GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析(二)

NLP_Matrix_Space5.2GPT-2源码实现逐行解析本节讲解GPT-2源码，gpt2.py是一个使用NumPy实现的代码，在代码中实现了GELU激活函数、softmax函数、层归一化、线性层、前馈神经网络、多头自注意力机制、Transformer

段智华·2025-02-25 09:35

开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能

但是目前只有HFtransformers和vLLM支持该模型。二、术语介绍2.1.混合专家(MoE)架构是一种机器学习模型的结构设计,它将一个复杂的任务分解成多个相对简单的子任务,

开源技术探险家·2025-02-25 07:55

日常知识点之刷题一

（模拟过程，每次手动启动的机器对应时间向两边扩散）//输入每个启动的时间和编号voidtest_liulang(){intn,m;cin>>n>>m;if(n>1000||m>n){return;}intt

yun6853992·2025-02-25 07:20

使用Diffusion Models进行图像超分辩重建

目录贡献概述动机方法详解模型训练论文贡献概述这项研究提出了一种基于扩散逆过程的新图像

沉迷单车的追风少年·2025-02-25 04:32

深度学习笔记——常见的Transformer位置编码

本文详细介绍3种常见的Transformer位置编码——正弦/余弦位置编码（sin/cos）、基于频率的二维位置编码（2DFrequencyEmbeddings）、旋转式位置编码（RoPE）文章目录Transformer

好评笔记·2025-02-25 01:05

为什么词向量和权重矩阵dot运算就能得到想要的效果呢？

具体来说，在自然语言处理任务中，这种操作通常出现在如Transformer模型中的自注意力机制里。让我们深入探讨一下为什么这种方

cjl30804·2025-02-24 15:02

Engineering A Large Language Model From Scratch

Atinuke是一种基于Transformer的神经网络，通过使用独特的配置来优化各种语

UnknownBody·2025-02-24 15:31

Transformer 在RxJava中的使用

Transformer用途Transformer，顾名思义是转换器的意思。

xiaopangcame·2025-02-24 15:27

深度学习（2)-深度学习关键网络架构

关键网络架构深度学习有4种类型的网络架构：密集连接网络、卷积神经网络、循环神经网络和Transformer。

yyc_audio·2025-02-24 14:26

如何在Java中实现多头注意力机制：从Transformer模型入手

如何在Java中实现多头注意力机制：从Transformer模型入手大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！

省赚客app开发者·2025-02-24 14:26

transformers java_Transformer 在RxJava中的使用

Transformer.jpegTransformer用途Transformer，顾名思义是转换器的意思。

欢小颜·2025-02-24 14:55

Transformer大模型实战教师学生架构

Transformer大模型实战教师学生架构作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来近年来，随着深度学习技术的飞速发展

AI智能涌现深度研究·2025-02-24 14:19

Transformer模型量化Quantization 笔记

模型参数与显存占用计算基础为了详细说明模型的参数数量和每个参数在显存中占用的空间大小，我们以facebookOPT-6.7B模型为例。逐步推理计算过程：1.估计参数总量：OPT-6.7B模型指一个含有大约6.7Billion（67亿）个参数的模型。2.计算单个参数的显存占用：OPT-6.7B模型默认使用Float16，每个参数占用16位（即2字节）的显存。3.计算总显存占用=参数总量×每个参数的显

Foolbird123·2025-02-24 13:14

如何在Java中设计高效的Transformer模型架构

如何在Java中设计高效的Transformer模型架构大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！

省赚客app开发者·2025-02-24 13:43

目前（2025年2月）计算机视觉（CV）领域一些表现优异的深度学习模型

PaLI：这是一个多模态模型，结合了40亿参数的视觉Transformer（ViT）和多种大型语言模型（LLM），并在包含100多种语言的100亿图像和文本数据集上进行训练。PaLI在图像描述、视

空空转念·2025-02-23 20:18

Python——生成AIGC图像

通过深度学习、生成对抗网络（GAN）和扩散模型等技术，AIGC能够生成高度逼真、具有艺术性的内容

朱剑君·2025-02-23 19:06

蓝桥杯专题之递归+dfs+bfs篇

2015年：牌型种数2016年：方格填数，剪邮票2018年：全球变暖2019年：迷宫2020年：走方格，七段码2022年模拟赛：2021变1的最短操作数2022年第一次模拟赛：15级台阶2022年国赛：扩散

胃口很大的一条小蛇仔·2025-02-23 18:59

End-to-End Object Detection with Transformers

End-to-EndObjectDetectionwithTransformers会议：2020ECCV论文：https://arxiv.org/abs/2005.12872代码：https://github.com

M1kk0·2025-02-23 18:28

推荐频道

扩散Transformer