transformer

【论文精读】Latent Diffusion

摘要Diffusionmodels（DMs）被证明在复杂自然场景的高分辨率图像合成能力优于以往的GAN或autoregressive（AR）transformer。
None-D·2024-02-19 22:03

利用ChatGPT提升工作效率

ChatGPT，全称GenerativePre-trainedTransformer，是一种基于深度学习的自然语言处理技术。它由OpenAI团队开发，并已经在2018年6
沐知全栈开发·2024-02-19 21:49

ChatGPT魔法1： 背后的原理

的三个阶段1）上世纪50~60年代，计算机刚刚产生2）Machinelearning3）Deeplearning，有神经网络，最有代表性的是ChatGPT,GPT(GenerativePre-TrainedTransformer
王丰博·2024-02-19 18:22

深度学习的应用实例

自然语言处理（NLP）情感分析：深度学习模型如循环神经网络（RNN）和Transformer等已被广泛用于情感分析任务，例如识别文本中的情感倾向或情感类别。
数字化信息化智能化解决方案·2024-02-19 16:27

人工智能技术应用笔记（二）：OpenAI SORA文生视频模型技术报告全文中英对照 （GPT4翻译+人工润色）

Turningvisualdataintopatches（将视觉数据转换为图像块）Videocompressionnetwork（视频压缩网络）SpacetimeLatentPatches（隐空间时空编码块）Scalingtransformersforvideogeneration
穿越光年·2024-02-19 16:25

【AGI视频】Sora的奇幻之旅：未来影视创作的无限可能

Sora基于先进的Transformer架构，将AI与人类的创造力完美结合，为观众带来了前所未有的视听盛宴。Sora原理及代码Sora的核心原理基于先进的扩散模型。
德天老师·2024-02-19 16:24

OpenAI：Sora视频生成模型技术报告（中文）

我们利用transformer架构，在视频和图像潜在代码的时空补丁上运行。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明，缩放视频生成模型是构建物理世界通用模拟器的一条有希望的道路。
缘起性空、·2024-02-19 16:21

OpenAI视频生成模型Sora背后的技术及其深远的影响

其核心技术包括使用视觉块编码将不同格式的视频统一编码成Transformer可训练的嵌入向量，以及类似于扩散过程的UNet方法进行降维和升维的加噪与去噪操作。
知来者逆·2024-02-19 16:45

初识OLMo，一个完全开源的大模型代码

[all]orpipinstallai2-olmo2.基础的推理fromhf_olmoimport*#registerstheAuto*classesfromtransformersimportAutoModelForCausal
瓶子好亮·2024-02-19 15:47

peft库编写逻辑分析

Peft库编写逻辑分析（以LLaMa+prefix为例）Peft库加载finetune模型分析Peft生成代码importtorchfrompeftimportPeftModelfromtransformersimport
瓶子好亮·2024-02-19 15:17

Transformer实战-系列教程19：DETR 源码解读6（编码器：TransformerEncoder类/TransformerEncoderLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:45

Transformer实战-系列教程20：DETR 源码解读7（解码器：TransformerDecoder类/TransformerDecoderLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:45

Transformer实战-系列教程18：DETR 源码解读5（Transformer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:44

Attention Is All Your Need论文笔记

提出了一个新的简单网络架构——transformer，仅仅是基于注意力机制，完全免去递推和卷积，使得神经网络训练地速度极大地提高。
xiaoyan_lu·2024-02-19 13:09

PointMixer论文阅读笔记

MLP-mixer是最近很流行的一种网络结构，比起Transformer和CNN的节构笨重，MLP-mixer不仅节构简单，而且在图像识别方面表现优异。
ZHANG8023ZHEN·2024-02-19 13:35

MTR++论文阅读

不过在infer的时候这一部分不会进行用数据集聚类获得query轨迹点（goal点）：将goal点也进行Transformer，并且让上一帧模型的结果用于下一帧的模型推理，可以使模型的推
ZHANG8023ZHEN·2024-02-19 13:35

Transformer实战-系列教程21：DETR 源码解读8 损失计算:（SetCriterion类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-19 13:03

多模态基础---BERT

1.BERT简介BERT用于将一个输入的句子转换为word_embedding，本质上是多个Transformer的Encoder堆叠在一起。
aolaf·2024-02-19 12:02

关于VIT（Vision Transformer）的架构记录

在VIT模型设计中，尽可能地紧密遵循原始的Transformer模型（Vaswani等人，2017年）。
一条小小yu·2024-02-19 12:53

关于Swin Transformer的架构记录

SwinTransformer可以说是批着Transformer外表的卷积神经网络。具体的架构如下图所示：首先我们得到一张224*224*3的图片。通过分成4*4的patch，变成了56*56*48。
一条小小yu·2024-02-19 12:53

Transformer能解释一切吗？

提出Transformer的那篇论文《AttentionisAllYouNeed》问世已经是六年前的事了。当初的8位论文作者有6人出自谷歌，但到现在大多也已转身寻找新的故事。
软件工匠·2024-02-19 12:45

NLP_BERT与GPT争锋

文章目录介绍小结介绍在开始训练GPT之前，我们先比较一下BERT和GPT这两种基于Transformer的预训练模型结构，找出它们的异同。
you_are_my_sunshine*·2024-02-19 12:13

flutter报错总结

becausethefollowingdependenciesdon'tsupportnullsafety:package:flutter_swiperpackage:flutter_page_indicatorpackage:transformer_page_viewForsolutions
孤雁_南飞·2024-02-19 11:45

【报告解析】OpenAI Sora视频模型官方报告全解析 | 效果，能力以及基本原理

省流版1核心数据处理将视频数据整合成一个一个的Patch，方便统一训练数据，利用扩散Transformer架构2功能效果除了可以实现基础的文生视频外，实际上还有非常惊艳的视频延展，视频编辑，视频连接等多种功能
Qodicat·2024-02-19 11:54

SORA：OpenAI最新文本驱动视频生成大模型技术报告解读

Turningvisualdataintopatches：将视觉数据转换为补丁3、Videocompressionnetwork：视频压缩网络4、SpacetimeLatentPatches：时空潜在补丁5、Scalingtransformersforvideogeneration
_企鹅_·2024-02-19 11:21

OpenAI视频生成模型Sora的全面解析：从扩散Transformer到ViViT、DiT、NaViT、VideoPoet

前言真没想到，距离视频生成上一轮的集中爆发(详见《视频生成发展史：从Gen2、EmuVideo到PixelDance、SVD、Pika1.0、W.A.L.T》)才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的GemmiPro1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的
v_JULY_v·2024-02-19 10:27

NLP_GPT到ChatGPT

GPT：2018年，OpenAl发布了这款基于Transformer架构的预训练语言模型，其参数数量为1.17亿(117M)。
you_are_my_sunshine*·2024-02-15 09:39

LLM大模型相关问题汇总---包括问题与答案

-Transformer体系：由Google提出的Transformer模型及其变体，如BERT、GPT等。
lichunericli·2024-02-15 09:56

Transformers中的Beam Search高效实现

来自：纸鱼AI目前Github上的大部分实现均针对于单个样本的beamsearch，而本文主要介绍了针对单个样本和批量样本的beamsearch实现。本文代码可以点击“查看原文”找到BeamSearch的原理设输入序列为，输出序列为，我们需要建模如下概率分布：（公式向右滑动）在执行解码时，我们有几种选词方案，第一种则是穷举所有可能序列，这种成本过大无法承受。如果每一步都选择概率最大的词，这种解码方
zenRRan·2024-02-15 08:13

Attention +Transformer学习记录（二）

目录a.注意力机制和自注意力机制的区别b.引入自注意力机制的原因c.计算公式d.代码实现二、Multi-HeadAttention1.Multi-HeadAttention的计算2.位置编码三、Transformer
LLC74·2024-02-15 08:41

[机器学习]详解transformer---小白篇

1.背景：Transformer是2017年的一篇论文《AttentionisAllYouNeed》提出的一种模型架构，这篇论文里只针对机器翻译这一种场景做了实验，并且由于encoder端是并行计算的，
是安澜啊·2024-02-15 08:11

如何使用Hugging Face：对Transformer和pipelines的介绍

一、transformer介绍众所周知，transformer模型（如GPT-3、LLaMa和ChatGPT）已经彻底改变了人工智能领域。
第欧根尼的酒桶·2024-02-15 08:10

基于Transformer的机器学习模型的主动学习

主动学习和基于Transformer的机器学习模型的结合为有效地训练深度学习模型提供了强有力的工具。通过利用主动学习，数据科学家能够减少训练模型所需的标记数据的数量，同时仍然达到高精度。
第欧根尼的酒桶·2024-02-15 08:09

FaE：基于符号知识的适应性和可解释的神经记忆

AdaptableandInterpretableNeuralMemoryoverSymbolicKnowledge论文作者：GoogleResearch论文地址：https://arxiv.org/abs/2007.00849收录会议：NAACL202101介绍大规模语言模型，如BERT、Transformer
NLP论文解读·2024-02-15 08:36

Task6 基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer
listentorain_W·2024-02-15 07:53

四、OpenAI之文本生成模型

文本生成模型OpenAI的文本生成模型(也叫做生成预训练的转换器(Generativepre-trainedtransformers)或大语言模型)已经被训练成可以理解自然语言、代码和图片的模型。
挑大梁·2024-02-14 15:08

自然语言处理N天-AllenNLP学习（实现简单的词性标注）

新建MicrosoftPowerPoint演示文稿(2).jpg1.前言在了解了Transformer之后，这个模型是否可用呢？
我的昵称违规了·2024-02-14 12:54

使用模型Helsinki-NLP/opus-mt-en-zh实现英译中

googlecodlab运行需要5秒fromtransformersimportAutoModel,AutoTokenizer,MarianMTModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:18

在pipeline中使用distilbert-base-uncased-finetuned-sst-2-english模型做sentiment-analysis情感分析

googlecolab运行成功：fromtransformersimportAutoTokenizer,AutoModel,pipelinefromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:48

huggingface pipeline零训练样本分类Zero-Shot Classification的实现

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration
hehui0921·2024-02-14 11:47

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。
deephub·2024-02-14 08:15

ResT An Efficient Transformer for Visual

©作者|小欣Abstract.这篇文章提出了一个有效的多尺度视觉Transformer，称为ResT,可以作为图像分类的主干网络，大多Transformer模型使用标准的Transformerblock
CV案例精选·2024-02-14 02:30

【大模型上下文长度扩展】线性偏差注意力 ALiBi

线性偏差注意力ALiBi核心问题：如何使Transformer模型在推理时有效处理长于训练时序列的输入，同时提高训练效率并减少资源需求？具体问题：当前位置编码方法不支持高效的序列长度外推。
Debroon·2024-02-14 01:50

大模型位置编码、长度外推问题、ALiBi知识

在Transformer模型中，位置编码通过为输入序列中的每个位置分配一个固定的向量来实现。这些向量会与输入序列中的词向量相加，以融合位置信息。位置编码的设计目的是使模型
lichunericli·2024-02-13 21:09

LLM大模型常见问题解答（2）

对大模型基本原理和架构的理解大型语言模型如GPT（GenerativePre-trainedTransformer）系列是基于自注意力机制的深度学习模型，主要用于处理和生成人类语言。
lichunericli·2024-02-13 21:38

大模型激活函数知识

FFN块计算公式在Transformer模型中，FFN（Feed-ForwardNetwork）块通常指的是在编码器（Encoder）和解码器（Decoder）中的一个全连接前馈网络子结构。
lichunericli·2024-02-13 19:56

知识图谱与语言预训练_biji

COMET:CommonsenseTransformersforAutomaticKnowledgeGraphConstruction
wang2008start·2024-02-13 14:04

大模型基础知识

主流的开源模型体系GPT（GenerativePre-trainedTransformer）系列：由OpenAI发布的一系列基于Transformer架构的语言模型，包括GPT、GPT-2、GPT-3等
lichunericli·2024-02-13 13:46

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。
·2024-02-13 12:15

Transformer实战-系列教程17：DETR 源码解读4（Joiner类/PositionEmbeddingSine类/位置编码/backbone）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:03
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他