扩散Transformer

VIT（Vision Transformer）【超详细 pytorch实现

CNN的局限性：传统的CNN通过局部卷积核提取特征，虽然可以通过堆叠多层卷积扩大感受野，但仍然依赖于局部信息的逐步聚合，难以直接建模全局依赖关系。ViT的优势：ViT使用自注意力机制（Self-Attention），能够直接捕捉图像中所有patch（图像块）之间的全局关系。这种全局建模能力在处理需要长距离依赖的任务（如图像分类、目标检测）时表现更好。全流程图像预处理+分块图像尺寸标准化，如(224
周玄九·2025-02-27 17:54

大语言模型原理与工程实践：Transformer 大语言模型预训练

大语言模型原理与工程实践：Transformer大语言模型预训练关键词：大语言模型、预训练、Transformer、自监督学习、计算资源、数据处理文章目录大语言模型原理与工程实践：Transformer
AI天才研究院·2025-02-27 16:18

大模型核心技术原理: Transformer架构详解！

在大模型发展历程中，有两个比较重要点：第一，Transformer架构。它是模型的底座，但Transformer不等于大模型，但大模型的架构可以基于Transformer；第二，GPT。
大模型猫叔·2025-02-27 16:13

自动驾驶之BEVDet

经典主干网络比如resnet,SwinTransformer等。neck有==FPN==,PAFPN等。
maxruan·2025-02-27 16:13

用于训练基于pytorch构建的小型字符级语言模型的数据集汇总

前文，我们从零开始基于transformer框架在pytorch上构建一个小型字符级语言模型，并编写了完整的python示例，模型是需要训练的，所以在原有代码的基础上，我们寻找一些公开的数据集对模型进行训练
搏博·2025-02-27 06:03

深度学习的前沿与挑战：从基础到最新进展

深度学习的工作原理深度学习的关键技术1.卷积神经网络（CNN）2.循环神经网络（RNN）3.生成对抗网络（GAN）4.变分自编码器（VAE）5.自注意力机制与Transformer深度学习的应用1.计算机视觉
Jason_Orton·2025-02-27 03:09

多模态｜开源多模态模型Emu3 & 多模态预训练模型CLIP对比

Emu3在生成和感知方面都表现出色Emu3在生成和感知任务方面都优于几个成熟的任务特定模型，超越了SDXL、LLaVA-1.6和OpenSora-1.2等旗舰开放模型，同时消除了对扩散或组合架构的需求
产品媛Gloria Deng·2025-02-27 03:08

TEST-用css实现矩形扩散动画效果制作一个简约科技按钮

测试目的：用css实现矩形扩散动画效果简单实现一个简约科技按钮前几天在网上找漂亮的功能组件时看见有人用css实现圆形的具有波纹扩散动画效果的按钮，效果挺好看的，但是作为设计作者觉得矩形的过渡棱角科技感更饱满一些
@C_Cheng·2025-02-27 02:01

如何利用GPT创作诗歌与短篇故事赚钱

GenerativePre-trainedTransformer（GPT）作为一种强大的自然语言处理工具，为普通人提供了创作诗歌和短篇故事的新途径，并能够通过这些创作实现赚钱的机会。
·2025-02-27 00:08

AI岗位面试指南：高频文档问题解析与应答策略

一、必问文档类问题与应答模板1.简历深挖类典型问题："请详细解释简历中提到的「基于Transformer的文本生成优化项目」，你如何量化性能提升？"
阿三0812·2025-02-26 19:07

从零开始：使用PyTorch构建DeepSeek R1模型及其训练详解

DeepSeekR1是一个假设的模型名称，为了演示目的，我们将构建一个基于Transformer的简单文本生成模型。
陆鳐LuLu·2025-02-26 19:02

DeepSeek API是什么

DeepSeekAPI通常基于先进的大模型，如Transformer架构的模型，提供了强大的语言理解和生成能力。
兔兔爱学习兔兔爱学习·2025-02-26 18:28

【深度学习】Transformer入门：通俗易懂的介绍

【深度学习】Transformer入门：通俗易懂的介绍一、引言二、从前的“读句子”方式三、Transformer的“超级阅读能力”四、Transformer是怎么做到的？
知识靠谱·2025-02-26 07:12

【百问百答系列】-全面了解Transformer（未来发展）

【百问百答系列】-全面了解Transformer引言初次接触Transformer时，那些复杂的概念和精妙的架构设计，着实让我困惑不已。
什么都想学的阿超·2025-02-26 04:51

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

前言近年来，基于Transformer架构的预训练语言模型如GPT、BERT等已经取得了显著的成果，广泛应用于自然语言处理（NLP）的各个领域。
煤炭里de黑猫·2025-02-25 21:02

机器学习01

dataframe那样的数据，要进行特征提取，比如字典特征提取，文本特征提取)无量纲化(预处理)归一化标准化降维底方差过滤特征选择主成分分析-PCA降维1.特征工程API实例化转换器对象，转换器类有很多，都是Transformer
天行者@·2025-02-25 20:53

告别复杂分词：Transformers轻松搞定文本处理

今天这篇文章将带你一起走进一个深受AI界热爱的工具——Transformers库，特别是AutoTokenizer的神奇功能。这个工具可以让你轻松处理文本，节省时间，还能保证高效准确。
星际编程喵·2025-02-25 09:08

GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析(二)

NLP_Matrix_Space5.2GPT-2源码实现逐行解析本节讲解GPT-2源码，gpt2.py是一个使用NumPy实现的代码，在代码中实现了GELU激活函数、softmax函数、层归一化、线性层、前馈神经网络、多头自注意力机制、Transformer
段智华·2025-02-25 09:35

开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能

但是目前只有HFtransformers和vLLM支持该模型。二、术语介绍2.1.混合专家(MoE)架构是一种机器学习模型的结构设计,它将一个复杂的任务分解成多个相对简单的子任务,
开源技术探险家·2025-02-25 07:55

日常知识点之刷题一

（模拟过程，每次手动启动的机器对应时间向两边扩散）//输入每个启动的时间和编号voidtest_liulang(){intn,m;cin>>n>>m;if(n>1000||m>n){return;}intt
yun6853992·2025-02-25 07:20

使用Diffusion Models进行图像超分辩重建

目录贡献概述动机方法详解模型训练论文贡献概述这项研究提出了一种基于扩散逆过程的新图像
沉迷单车的追风少年·2025-02-25 04:32

深度学习笔记——常见的Transformer位置编码

本文详细介绍3种常见的Transformer位置编码——正弦/余弦位置编码（sin/cos）、基于频率的二维位置编码（2DFrequencyEmbeddings）、旋转式位置编码（RoPE）文章目录Transformer
好评笔记·2025-02-25 01:05

为什么词向量和权重矩阵dot运算就能得到想要的效果呢？

具体来说，在自然语言处理任务中，这种操作通常出现在如Transformer模型中的自注意力机制里。让我们深入探讨一下为什么这种方
cjl30804·2025-02-24 15:02

Engineering A Large Language Model From Scratch

Atinuke是一种基于Transformer的神经网络，通过使用独特的配置来优化各种语
UnknownBody·2025-02-24 15:31

Transformer 在RxJava中的使用

Transformer用途Transformer，顾名思义是转换器的意思。
xiaopangcame·2025-02-24 15:27

深度学习（2)-深度学习关键网络架构

关键网络架构深度学习有4种类型的网络架构：密集连接网络、卷积神经网络、循环神经网络和Transformer。
yyc_audio·2025-02-24 14:26

如何在Java中实现多头注意力机制：从Transformer模型入手

如何在Java中实现多头注意力机制：从Transformer模型入手大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
省赚客app开发者·2025-02-24 14:26

transformers java_Transformer 在RxJava中的使用

Transformer.jpegTransformer用途Transformer，顾名思义是转换器的意思。
欢小颜·2025-02-24 14:55

Transformer大模型实战 教师 学生架构

Transformer大模型实战教师学生架构作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来近年来，随着深度学习技术的飞速发展
AI智能涌现深度研究·2025-02-24 14:19

Transformer模型量化Quantization 笔记

模型参数与显存占用计算基础为了详细说明模型的参数数量和每个参数在显存中占用的空间大小，我们以facebookOPT-6.7B模型为例。逐步推理计算过程：1.估计参数总量：OPT-6.7B模型指一个含有大约6.7Billion（67亿）个参数的模型。2.计算单个参数的显存占用：OPT-6.7B模型默认使用Float16，每个参数占用16位（即2字节）的显存。3.计算总显存占用=参数总量×每个参数的显
Foolbird123·2025-02-24 13:14

如何在Java中设计高效的Transformer模型架构

如何在Java中设计高效的Transformer模型架构大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
省赚客app开发者·2025-02-24 13:43

目前（2025年2月）计算机视觉（CV）领域一些表现优异的深度学习模型

PaLI：这是一个多模态模型，结合了40亿参数的视觉Transformer（ViT）和多种大型语言模型（LLM），并在包含100多种语言的100亿图像和文本数据集上进行训练。PaLI在图像描述、视
空空转念·2025-02-23 20:18

Python——生成AIGC图像

通过深度学习、生成对抗网络（GAN）和扩散模型等技术，AIGC能够生成高度逼真、具有艺术性的内容
朱剑君·2025-02-23 19:06

蓝桥杯专题之递归+dfs+bfs篇

2015年：牌型种数2016年：方格填数，剪邮票2018年：全球变暖2019年：迷宫2020年：走方格，七段码2022年模拟赛：2021变1的最短操作数2022年第一次模拟赛：15级台阶2022年国赛：扩散
胃口很大的一条小蛇仔·2025-02-23 18:59

End-to-End Object Detection with Transformers

End-to-EndObjectDetectionwithTransformers会议：2020ECCV论文：https://arxiv.org/abs/2005.12872代码：https://github.com
M1kk0·2025-02-23 18:28

深度学习革命背后：DBN、AlexNet、GAN 等神级架构，究竟藏着怎样的 AI 崛起密码？（附deepseek）

年至今）****2006年：深度学习奠基——深度信念网络（DBN）****2012年：AlexNet崛起****2014年：架构创新潮****生成对抗网络（GAN）****残差网络（ResNet）****Transformer
universe_code·2025-02-23 15:35

GPT和BERT的异同

GPT（GenerativePre-trainedTransformer）和BERT（BidirectionalEncoderRepresentationsfromTransformers）都是基于Transformer
彬彬侠·2025-02-23 15:04

【论文精读】MapTR：用于在线矢量化高精地图构建的结构化建模与学习

本文提出了MapTR，一种用于高效在线矢量化高精地图构建的结构化端到端Transformer模
青衫弦语·2025-02-23 14:02

LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly

UniversityofToronto关键词长度泛化位置编码数据格式核心结论1.实验结论：十进制加法任务上的长度泛化最佳组合：FIRE位置编码随机化位置编码反向数据格式索引提示（indexhints，辅助定位）2.在适当的配置下，Transformer
Zhouqi_Hua·2025-02-23 14:30

大模型WebUI：Gradio全解11——使用transformers.agents构建Gradio UI（3）

大模型WebUI：Gradio全解11——使用transformers.agents构建GradioUI（3）前言本篇摘要11.使用transformers.agents构建GradioUI11.3创建和使用工具
龙焰智能·2025-02-23 11:10

人工神经网络ANN入门学习笔记

侵权删）：【ANN回归预测】基于ANN实现多变量预测附Matlab代码_ann实现回归-CSDN博客ANN人工神经网络：从基础认知到现实理解-CSDN博客常用神经网络-ANN/CNN/RNN/GAN/Transformer_a
cs_ning·2025-02-23 10:02

中小技术公司的软扩展(微服务扩展是否有必要?)

前段时间爆火的微服务,容器,高并发等各类大厂扩散出来的'高级技术',如今又被不少人诟病,特别是一些中型公司,盲目技术迭代后,寒冬一来,发现企业代码逻辑太复杂,人员无法精简,甚至于最后连扩展都成了问题.最终导致成本无法控制
庖丁解java·2025-02-23 08:50

单目标追踪——【Transformer】Transformer Tracking

目录文章侧重点网络结构上下文增强模块交叉特征增强TransT网络结构可视化结果分析n=1n=2n=3n=4Transformer这个香饽饽怎么能不用来迁移到目标追踪里呢。本篇文章分析TransT。
zz的大穗禾·2025-02-23 04:21

多模态论文笔记——DiT（Diffusion Transformer）

本文详细介绍Transformer架构图像生成方面的应用，将Diffusion和Transformer结合起来的模型：DiT。目前DiT已经成为了AIGC时代的新宠儿，视频和图像生成不可缺少的一部分。
好评笔记·2025-02-23 04:19

Transformer解析——（五）代码解析及拓展

本系列已完结，全部文章地址为：Transformer解析——（一）概述-CSDN博客Transformer解析——（二）Attention注意力机制-CSDN博客Transformer解析——（三）Encoder-CSDN
cufewxy2018·2025-02-23 04:19

DeepSeek新作-Native Sparse Attention

标准注意力机制的挑战：传统的注意力机制（如Transformer中的全注意力机制）在处理长文本时面临巨大的计算成本。这是因为全注意力机制需要计算每个词与其他所有词之间的关系
数据分析能量站·2025-02-22 21:21

【Day45 LeetCode】图论问题 Ⅲ

一、图论问题Ⅲ1、沉没孤岛这题只能从边界开始扩散，将靠近边界的陆地标记，表示不是孤岛，最后将孤岛沉没，将不是孤岛标记回陆地。
银河梦想家·2025-02-22 15:05

十月学习笔记

transformer的架构：基于encoder-only或decoder-only架构Transformer模型由编码器（enco
木子不多余·2025-02-22 15:28

大模型量化概述

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
AI领航者·2025-02-22 04:02

用deepseek学大模型08-用deepseek解读deepseek

DeepSeekR1是一种先进的深度学习模型架构，结合了Transformer、稀疏注意力机制和动态路由等核心技术。
wyg_031113·2025-02-22 01:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他