Transformer论文学习

NLP_BERT与GPT争锋

文章目录介绍小结介绍在开始训练GPT之前，我们先比较一下BERT和GPT这两种基于Transformer的预训练模型结构，找出它们的异同。
you_are_my_sunshine*·2024-02-19 12:13

flutter报错总结

becausethefollowingdependenciesdon'tsupportnullsafety:package:flutter_swiperpackage:flutter_page_indicatorpackage:transformer_page_viewForsolutions
孤雁_南飞·2024-02-19 11:45

【报告解析】OpenAI Sora视频模型官方报告全解析 | 效果，能力以及基本原理

省流版1核心数据处理将视频数据整合成一个一个的Patch，方便统一训练数据，利用扩散Transformer架构2功能效果除了可以实现基础的文生视频外，实际上还有非常惊艳的视频延展，视频编辑，视频连接等多种功能
Qodicat·2024-02-19 11:54

SORA：OpenAI最新文本驱动视频生成大模型技术报告解读

Turningvisualdataintopatches：将视觉数据转换为补丁3、Videocompressionnetwork：视频压缩网络4、SpacetimeLatentPatches：时空潜在补丁5、Scalingtransformersforvideogeneration
_企鹅_·2024-02-19 11:21

OpenAI视频生成模型Sora的全面解析：从扩散Transformer到ViViT、DiT、NaViT、VideoPoet

前言真没想到，距离视频生成上一轮的集中爆发(详见《视频生成发展史：从Gen2、EmuVideo到PixelDance、SVD、Pika1.0、W.A.L.T》)才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的GemmiPro1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的
v_JULY_v·2024-02-19 10:27

NLP_GPT到ChatGPT

GPT：2018年，OpenAl发布了这款基于Transformer架构的预训练语言模型，其参数数量为1.17亿(117M)。
you_are_my_sunshine*·2024-02-15 09:39

LLM大模型相关问题汇总---包括问题与答案

-Transformer体系：由Google提出的Transformer模型及其变体，如BERT、GPT等。
lichunericli·2024-02-15 09:56

Transformers中的Beam Search高效实现

来自：纸鱼AI目前Github上的大部分实现均针对于单个样本的beamsearch，而本文主要介绍了针对单个样本和批量样本的beamsearch实现。本文代码可以点击“查看原文”找到BeamSearch的原理设输入序列为，输出序列为，我们需要建模如下概率分布：（公式向右滑动）在执行解码时，我们有几种选词方案，第一种则是穷举所有可能序列，这种成本过大无法承受。如果每一步都选择概率最大的词，这种解码方
zenRRan·2024-02-15 08:13

Attention +Transformer学习记录（二）

目录a.注意力机制和自注意力机制的区别b.引入自注意力机制的原因c.计算公式d.代码实现二、Multi-HeadAttention1.Multi-HeadAttention的计算2.位置编码三、Transformer
LLC74·2024-02-15 08:41

[机器学习]详解transformer---小白篇

1.背景：Transformer是2017年的一篇论文《AttentionisAllYouNeed》提出的一种模型架构，这篇论文里只针对机器翻译这一种场景做了实验，并且由于encoder端是并行计算的，
是安澜啊·2024-02-15 08:11

如何使用Hugging Face：对Transformer和pipelines的介绍

一、transformer介绍众所周知，transformer模型（如GPT-3、LLaMa和ChatGPT）已经彻底改变了人工智能领域。
第欧根尼的酒桶·2024-02-15 08:10

基于Transformer的机器学习模型的主动学习

主动学习和基于Transformer的机器学习模型的结合为有效地训练深度学习模型提供了强有力的工具。通过利用主动学习，数据科学家能够减少训练模型所需的标记数据的数量，同时仍然达到高精度。
第欧根尼的酒桶·2024-02-15 08:09

FaE：基于符号知识的适应性和可解释的神经记忆

AdaptableandInterpretableNeuralMemoryoverSymbolicKnowledge论文作者：GoogleResearch论文地址：https://arxiv.org/abs/2007.00849收录会议：NAACL202101介绍大规模语言模型，如BERT、Transformer
NLP论文解读·2024-02-15 08:36

Task6 基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer
listentorain_W·2024-02-15 07:53

四、OpenAI之文本生成模型

文本生成模型OpenAI的文本生成模型(也叫做生成预训练的转换器(Generativepre-trainedtransformers)或大语言模型)已经被训练成可以理解自然语言、代码和图片的模型。
挑大梁·2024-02-14 15:08

自然语言处理N天-AllenNLP学习（实现简单的词性标注）

新建MicrosoftPowerPoint演示文稿(2).jpg1.前言在了解了Transformer之后，这个模型是否可用呢？
我的昵称违规了·2024-02-14 12:54

使用模型Helsinki-NLP/opus-mt-en-zh实现英译中

googlecodlab运行需要5秒fromtransformersimportAutoModel,AutoTokenizer,MarianMTModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:18

在pipeline中使用distilbert-base-uncased-finetuned-sst-2-english模型做sentiment-analysis情感分析

googlecolab运行成功：fromtransformersimportAutoTokenizer,AutoModel,pipelinefromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:48

huggingface pipeline零训练样本分类Zero-Shot Classification的实现

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration
hehui0921·2024-02-14 11:47

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。
deephub·2024-02-14 08:15

ResT An Efficient Transformer for Visual

©作者|小欣Abstract.这篇文章提出了一个有效的多尺度视觉Transformer，称为ResT,可以作为图像分类的主干网络，大多Transformer模型使用标准的Transformerblock
CV案例精选·2024-02-14 02:30

【大模型上下文长度扩展】线性偏差注意力 ALiBi

线性偏差注意力ALiBi核心问题：如何使Transformer模型在推理时有效处理长于训练时序列的输入，同时提高训练效率并减少资源需求？具体问题：当前位置编码方法不支持高效的序列长度外推。
Debroon·2024-02-14 01:50

大模型位置编码、长度外推问题、ALiBi知识

在Transformer模型中，位置编码通过为输入序列中的每个位置分配一个固定的向量来实现。这些向量会与输入序列中的词向量相加，以融合位置信息。位置编码的设计目的是使模型
lichunericli·2024-02-13 21:09

LLM大模型常见问题解答（2）

对大模型基本原理和架构的理解大型语言模型如GPT（GenerativePre-trainedTransformer）系列是基于自注意力机制的深度学习模型，主要用于处理和生成人类语言。
lichunericli·2024-02-13 21:38

大模型激活函数知识

FFN块计算公式在Transformer模型中，FFN（Feed-ForwardNetwork）块通常指的是在编码器（Encoder）和解码器（Decoder）中的一个全连接前馈网络子结构。
lichunericli·2024-02-13 19:56

知识图谱与语言预训练_biji

COMET:CommonsenseTransformersforAutomaticKnowledgeGraphConstruction
wang2008start·2024-02-13 14:04

大模型基础知识

主流的开源模型体系GPT（GenerativePre-trainedTransformer）系列：由OpenAI发布的一系列基于Transformer架构的语言模型，包括GPT、GPT-2、GPT-3等
lichunericli·2024-02-13 13:46

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。
·2024-02-13 12:15

Transformer实战-系列教程17：DETR 源码解读4（Joiner类/PositionEmbeddingSine类/位置编码/backbone）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:03

Transformer实战-系列教程16：DETR 源码解读3（DETR类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:32

Transformer实战-系列教程15：DETR 源码解读2（ConvertCocoPolysToMask类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:02

使用huggingface pipeline实现抽取式问答question-answering

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportpipelineqa_model
hehui0921·2024-02-13 09:36

huggingface pipeline使用模型THUDM/chatglm3-6b

fromtransformersimportAutoTokenizer,AutoModelfromtransformersimportAutoModelForSeq2SeqLMfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

flan_t5的使用

https://huggingface.co/docs/transformers/model_doc/flan-t5
hehui0921·2024-02-13 09:36

使用模型bigscience/mt0-large实现中文到英文的翻译

cpu版本fromtransformersimportAutoTokenizer,AutoModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

使用huggingface pipeline实现文本翻译

fromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportMBartForConditionalGeneration
hehui0921·2024-02-13 09:04

gpt4国内怎么用 gpt4和chatGPT的区别是什么

GPT是一种人工智能技术，全称为"GenerativePre-trainedTransformer"，即生成式预训练转换器。
氧惠佣金真的高·2024-02-13 07:24

王树森《RNN & Transformer》系列公开课

本课程主要介绍NLP相关，包括RNN、LSTM、Attention、Transformer、BERT等模型，以及情感识别、文本生成、机器翻译等应用ShusenWang的个人空间-ShusenWang个人主页
如何原谅奋力过但无声·2024-02-13 05:24

React Native Android打包

下面列举一些主要参数：--entry-fileRN入口文件的路径,绝对路径或相对路径--platform[string]ios或andorid--transformer[string]Specifyacustomtransformertobeused
Lethe35·2024-02-13 01:44

这次理解透彻了！用代码从零实现大模型的自注意力、多头注意力。。。

这篇文章将介绍Transformer架构以及GPT-4和Llama等大型语言模型（LLM）中使用的自注意力机制。自注意力等相关机
Python算法实战·2024-02-12 23:47

[论文精读]Community-Aware Transformer for Autism Prediction in fMRI Connectome

论文网址：[2307.10181]Community-AwareTransformerforAutismPredictioninfMRIConnectome(arxiv.org)论文代码：GitHub-ubc-tea
夏莉莉iy·2024-02-12 21:31

Cross-lingual Transfer of Monolingual Representations

既有大量无标签数据又有下游任务的监督数据，L2只有大量无标签数据，整个流程可分为一下四步：在L1无标签的数据集上，训练一个单语的bert，任务为masked语言模型（MLM）和下一句话预测（NSP）冻结第1步训练好的bert中的transformer
ltochange·2024-02-12 20:03

大模型题库

你能解释一下Transformer架构及其在大型语言模型中的作用吗？
lichunericli·2024-02-12 19:28

【HuggingFace】Transformers-BertAttention逐行代码解析

本文基于HuggingFace的2.6.0版本的Transformers包进行解析，不同版本间略有差异，但无伤大雅。
Taylor不想被展开·2024-02-12 17:32

小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(4)

终结篇了书接前文：小周带你读论文-2之"草履虫都能看懂的Transformer老活儿新整"Attentionisallyouneed(3)(qq.com)本章把Trasfomer剩的一点网络讲完上节课我们讲完了
周博洋K·2024-02-12 13:24

Transformer_复现_多头注意力机制

importosimporttorchimporttorch.nnasnnfromtorch.utils.dataimportDataset,DataLoaderfromtqdmimporttqdmdefread_data(file_path,num=None):withopen(file_path,"r",encoding="utf-8")asf:all_data=f.read().split(
温柔倾怀·2024-02-12 09:18

Java反序列化之CC1链分析

目录前言commons-collections（CC）构造利用链第一步InvokerTransformer第二步ChainedTransformer第三步ConstantTransformer第四步服务端生成
安全混子·2024-02-12 09:54

Java安全 CC链1分析(Lazymap类)

AnnotationInvocationHandler类完整exp：前言在看这篇文章前，可以看下我的上一篇文章，了解下cc链1的核心与环境配置Java安全CC链1分析前面我们已经讲过了CC链1的核心ChainedTransformer
Elitewa·2024-02-12 09:23

ChatGPT 4.0 升级指南, ChatGPT Plus（GPT 4.0） 有何优势？

ChatGPT是由OpenAI开发的一种基于人工智能的聊天机器人，它基于强大的语言处理模型GPT（GenerativePre-trainedTransformer）构建。
Draven21·2024-02-12 08:17

JBOSS漏洞

Java反序列化invoker/JMXInvokerServlet修复:使用Winzip打开jar文件，在org/apache/commons/collections/functors/InvokerTransformer.class
唐小风7·2024-02-12 00:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他