扩散Transformer 第8页

Transformer模型结构分析：Encoder、Decoder以及注意力机制详解

作者：禅与计算机程序设计艺术1.简介Transformer模型由论文[1]提出，其基本思想是使用注意力机制代替循环神经网络(RNN)或卷积神经网络(CNN)，是一种基于序列到序列(Seq2seq)的机器翻译

AI天才研究院·2025-02-01 04:59

Transformer模型解码器部分实现

说明：部分内容来自于网络教程，如有侵权请联系本人删除教程链接：2.4.2解码器-part2_哔哩哔哩_bilibili1.解码器层的作用作为解码器的组成单元，每个解码器层根据给定的输入向目标方向进行特征提取操作，即解码过程。代码实现：classDecoderLayer(nn.Module):def__init__(self,size,self_attn,src_attn,feed_forward,

APPLECHARLOTTE·2025-02-01 03:24

（3-5）文生图模型架构：扩散模型

3.5扩散模型扩散模型（DiffusionModels）是一类用于生成图像的深度学习模型，近年来在图像生成任务中取得了显著的进展。

码农三叔·2025-02-01 01:08

【人工智能】基于Python的机器翻译系统，从RNN到Transformer的演进与实现

在本篇文章中，我们将详细探讨如何使用Python实现从传统的循环神经网络（RNN）到现代Transformer模型的机器翻译系统。文章将从机

蒙娜丽宁·2025-01-31 23:24

具身智能VLA（视觉-语言-动作）入门+RTX4060+Ubuntu22.04

第一个阶段：学习transformer和大模型：我喜欢刷微信的短视频，看到了入门的课程：GitHub-rasbt/LLMs-from-scra

铮铭·2025-01-31 19:51

NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram

结论Transformer大于传统的Seq2Seq大于LSTM大于RNN大于传统的n-gramn-gramVSTransformer我们可以用一个图书馆查询的类比来解释它们的差异：一、核心差异对比维度n-gram

feifeikon·2025-01-31 19:14

热方程与波动方程

热方程的标准形式为：∂u∂t=α∇2u\frac{\partialu}{\partialt}=\alpha\nabla^2u∂t∂u=α∇2u其中，u(x,t)u(x,t)u(x,t)是温度分布，α\alphaα是热扩散系数

*Major*·2025-01-31 16:56

DeepSeek-R1：多模态AGI的实践突破与场景革命

二、技术架构与创新亮点统一的多模态框架采用Transformer-bas

热爱分享的博士僧·2025-01-31 14:09

DeepSeek优势方法策略

在训练阶段压缩时间空间复杂度的方法DeepSeek和ChatGPT在压缩时间空间复杂度上的不同之处DeepSeek能降低显卡使用的原因DeepSeek在训练阶段压缩时间空间复杂度的方法采用MLA架构：在传统的Transformer

ZhangJiQun&MXP·2025-01-31 14:03

Github 2025-01-28 Python开源项目日报 Top9

根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Python项目9Rust项目1ComfyUI：强大而模块化的稳定扩散GUI创建周期：399天开发语言：Python,JavaScript协议类型

老孙正经胡说·2025-01-31 13:27

Llama大型语言模型原理详解

一、模型结构Llama模型采用了一种基于Transformer的架构，这是一种由多个自注意力机制和前馈神经网络组成的深度神经网络结构。Transformer架构通过自注意力机制捕

摆烂大大王·2025-01-31 11:40

基于Transformer的多通道肌电信号序列分类

本项目基于Transformer实现对表面肌电信号的分类，数据使用excel进行保存，使用Pytorch架构建立模型并训练，利用基于Paramiko库的SSH连接来实现对NAO机器人的远程控制。

咖啡百怪·2025-01-31 10:04

AI绘画能取代设计师吗？

1.AI绘画的现状1.1AI绘画技术的形成与发展AI绘画的背后，离不开图像风格迁移、图文预训练模型和扩散模型这三大技术的共同推动。有点像是一位多才多艺的音乐家，利用不同

网络安全我来了·2025-01-30 20:09

Open WebUI应用实践

FormerlyOllamaWebUI)(github.com)Tutorial|OpenWebUIOpenWebUITip:OpenWebUI、Ollama、Helm、ChromaDB、RAG、Pipelines、sentence-transformers

孙将帼·2025-01-30 20:38

Transformer代码怎么写？原理一听就懂，代码一写就废！分享我从理解原理到实际编写代码的转换秘籍

这个困惑非常典型，这正是从"理解者"到"创造者"的关键跃迁阶段。让我们用建造房子的比喻，结合具体代码实例，拆解这个转化过程：示例代码(已加注释)：importosimportplatformimporttimeimportmathimportwarningsimporttorchimporttorch.distributedasdistfromtorchimportoptimfromtorch.n

夜信431·2025-01-30 17:34

如何使用深度学习中的 Transformer 算法进行视频目标检测

以下将介绍如何使用深度学习中的Transformer算法进行视频目标检测，并给出一个复现相关论文思路及示例代码。

go5463158465·2025-01-30 10:39

大模型问答机器人的智能化程度

大模型、问答机器人、智能化程度、自然语言处理、深度学习、Transformer模型、知识图谱、推理能力、对话系统1.背景介绍近年来，人工智能技术取得了飞速发展，特别是深度学习的兴起，为自然语言处理（NLP

AI大模型应用之禅·2025-01-30 09:35

Transformer架构原理详解：残差连接和层归一化（Residual Connection an

《Transformer架构原理详解：残差连接和层归一化（ResidualConnectionandLayerNormalization）》文章关键词Transformer残差连接层归一化自注意力机制序列模型编码器与解码器摘要本文将深入解析

AI天才研究院·2025-01-30 08:26

模型架构选择：从传统NLP到Transformer

模型架构选择：从传统NLP到Transformer关键词：自然语言处理(NLP),模型架构,传统NLP,Transformer,RNN,CNN,预训练模型文章目录模型架构选择：从传统NLP到Transformer1

AI天才研究院·2025-01-30 08:23

Transformer架构的GPU并行和之前的NLP算法并行有什么不同？

1.什么是GPU并行计算？GPU并行计算是一种利用图形处理单元（GPU）进行大规模并行数据处理的技术。与传统的中央处理单元（CPU）相比，GPU拥有更多的核心，能够同时处理数千个线程，这使得GPU在处理高度并行的任务时表现出色。在深度学习中，GPU并行计算被广泛应用于训练神经网络，加速模型训练过程。在2017年之前，自然语言处理（NLP）领域的研究者们通常会从头开始训练模型，那时能够利用GPU进行

AI大模型学习不迷路·2025-01-30 07:49

【llm对话系统】大模型源码分析之 LLaMA 位置编码 RoPE

在自然语言处理（NLP）领域，Transformer模型已经成为主流。然而，Transformer本身并不具备处理序列顺序的能力。

kakaZhui·2025-01-29 23:17

Janus Pro：DeepSeek 开源革新，多模态 AI 的未来

它采用了独特的多模态架构，包括解耦的视觉编码框架和统一的Transformer架构，以及SigLIP

·2025-01-29 19:21

Transformer--概念、作用、原理、优缺点以及简单的示例代码

Transformer的概念Transformer是一种基于自注意力机制的神经网络模型，最早由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。

Ambition_LAO·2025-01-29 17:23

华为OD机试 - 疫情扩散时间计算 - 广度优先搜索（Python/JS/C/C++ 2024 C卷 200分）

华为OD机试2024E卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试真题（Python/JS/C/C++）》。刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景，发现新题目，随时更新。一、题目描述在一个地图中（地图有N*N个区域组成），有部分区域被感染病菌。感

哪吒·2025-01-29 13:22

Transformers库的模板困境：apply_chat_template的版本变迁与解决方案

目录问题现状低版本（4.43及以下）的简便方式高版本的报错问题原因分析旧版本的实现逻辑新版本的变化解决办法问题现状在使用Transformers库中的tokenizer处理模型输入时，我们经常需要将输入文本格式化为模型可以理解的格式

Gaffey大杂烩·2025-01-28 22:02

LLM架构与优化：从理论到实践的关键技术

标题：“LLM架构与优化：从理论到实践的关键技术”文章信息摘要：文章探讨了大型语言模型（LLM）开发与应用中的关键技术，包括Transformer架构、注意力机制、采样技术、Tokenization等基础理论

XianxinMao·2025-01-28 20:14

《Python 动画：实现多种不同速度的炫酷烟花效果》

烟花绽放时，粒子以随机颜色和方向扩散。不同烟花有快有慢，呈现出真实的

后端工匠之道·2025-01-28 16:38

第76期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

云起无垠·2025-01-28 15:05

第84期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

云起无垠·2025-01-28 14:30

ks8 本地化部署 F5-TTS

F5-TTS项目地址：【GitHub】SWividF5-TTSDiffusionTransformerwithConvNeXtV

CHEN_RUI_2200·2025-01-28 14:27

开放传神（OpenCSG）手撕Sora的Diffusion Transformer (DiT)算法

OpenAI尝试过递归网络、生成对抗网络、自回归Transformer及扩散模型。最终诞生了DiffusionTransformer。

OpenCSG·2025-01-28 13:20

机器学习&深度学习目录

机器学习模型机器学习笔记：Transformer_刘文巾的博客-CSDN博客attention相关机器学习笔记：attention_UQI-LIUWJ的博客-CSDN博客机器学习笔记：ELMOBERT_UQI-LIUWJ

UQI-LIUWJ·2025-01-28 09:26

YOLOv11-ultralytics-8.3.67部分代码阅读笔记-transformer.py

transformer.pyultralytics\nn\modules\transformer.py目录transformer.py1.所需的库和模块2.classTransformerEncoderLayer

红色的山茶花·2025-01-28 08:47

CVPR 2024 无人机/遥感/卫星图像方向总汇（航空图像和交叉视角定位）

SatelliteImage(无人机/遥感/卫星图像)UnleashingUnlabeledData:AParadigmforCross-ViewGeo-Localization⭐codeRethinkingTransformersPre-trainingforMulti-SpectralSatelliteImagery

点云SLAM·2025-01-28 06:32

Transformer架构和Transformers 库和Hugging Face

Transformer架构和HuggingFace之间的关系非常紧密，HuggingFace是推动Transformer架构普及和应用的重要力量。

大哥喝阔落·2025-01-28 04:50

探索 Meissonic：文本到图像生成的新星

目录前言模型概述主要功能技术架构应用场景在线体验本地部署克隆存储库创建虚拟环境安装扩散器启动GradioWeb用户界面文本到图像生成结语项目地址一、前言在人工智能迅猛发展的今天，文本到图像生成技术已成为科技前沿的热点

zhangjiaofa·2025-01-28 02:34

实验踩坑 flash_attn_2_cuda undifiend symol

报错RuntimeError:Failedtoimporttransformers.models.llama.modeling_llamabecauseofthefollowingerror(lookuptoseeitstraceback

崩溃李·2025-01-28 00:51

[论文笔记] Megatron: mistral sliding window（ImportError: /workspace/venv/lib/python3.10/site-packag报错解决）

pyTorch—TransformerEngine1.2.1documentation论文：https://arxiv.org/pdf/2310.06825.pdftransformerengine的slidingwindow

心心喵·2025-01-28 00:46

transformer.js（二）：关于pipe管道的一切

前面的章节transformer.js（一）：这个前端大模型运行框架的可运行环境、使用方式、代码示例以及适合与不适合的场景介绍了transformer.js的应用场景。

余生H·2025-01-27 21:00

transformer.js（一）：这个前端大模型运行框架的可运行环境、使用方式、代码示例以及适合与不适合的场景

Transformer.js是一个专为前端环境设计的框架，它支持运行基于Transformer架构的深度学习模型，尤其是像BERT、GPT等广泛应用于自然语言处理（NLP）的模型。

余生H·2025-01-27 21:59

ViT论文解读

ViT论文解读本文主要记录YiZhu大佬对于ICLR2021的一篇论文精读ANIMAGEISWORTH16x16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE论文地址

freshfish丶·2025-01-27 18:35

[论文精读]Understanding Diffusion Models: A Unified Perspective

发布链接：http://arxiv.org/abs/2208.11970文章详细讨论了扩散模型（DiffusionModels）作为一种生成模型的工作原理，并从多个角度解释其背后的数学机制。

0x211·2025-01-27 16:26

Github 2024-05-28 Python开源项目日报 Top10

根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Python项目10TypeScript项目2HTML项目1稳定扩散WebUI创建周期：512天开发语言：Python协议类型：GNUAfferoGeneralPublicLicensev3.0Star

老孙正经胡说·2025-01-27 16:19

基于Stable Diffusion 3.5 Large模型的微调技术详解

它基于扩散模型（DiffusionModel）的架构，能够生成高质量的图像，并且在文本到图像（Text-to-Image）任务中展现了强大的能力。然而，尽管SD3.5在通用图像生成任务中

zhangjiaofa·2025-01-27 08:28

计算机视觉目标检测-DETR网络

目录摘要abstractDETR目标检测网络详解二分图匹配和损失函数DETR总结总结摘要DETR（DEtectionTRansformer）是由FacebookAI提出的一种基于Transformer架构的端到端目标检测方法

next_travel·2025-01-27 06:47

0基础跟德姆（dom）一起学AI 自然语言处理20-模型构建

1模型构建介绍通过上面的小节,我们已经完成了所有组成部分的实现,接下来就来实现完整的编码器-解码器结构.Transformer总体架构图:2编码器-解码器结构的代码实现EncoderDecoder函数完成编码解码的子任务

跟德姆(dom)一起学AI·2025-01-27 04:37

大语言模型LLM基础扫盲速通版

9.其他关于LLM的常见问题9.1Transformer在LLM中有何意义？9.2在LLM中，微调(fine-tuning)是什么？9.3模型大小如何影响LLM的性能？9.4LLM能生

SmallerFL·2025-01-27 00:40

Hugging Face Transformers and Meta Llama

HuggingFaceTransformersandMetaLlama1.Transformers1.1.`src/transformers/models`1.2.

Yongqiang Cheng·2025-01-27 00:02

【diffusers极速入门（四）】EMA 操作是什么？

【diffusers极速入门（二）】如何得到扩散去噪的中间结果？

多恩Stone·2025-01-26 18:52

【diffusers极速入门（六）】缓存梯度和自动放缩学习率以及代码详解