transformer论文阅读

大模型题库

你能解释一下Transformer架构及其在大型语言模型中的作用吗？
lichunericli·2024-02-12 19:28

【HuggingFace】Transformers-BertAttention逐行代码解析

本文基于HuggingFace的2.6.0版本的Transformers包进行解析，不同版本间略有差异，但无伤大雅。
Taylor不想被展开·2024-02-12 17:32

小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(4)

终结篇了书接前文：小周带你读论文-2之"草履虫都能看懂的Transformer老活儿新整"Attentionisallyouneed(3)(qq.com)本章把Trasfomer剩的一点网络讲完上节课我们讲完了
周博洋K·2024-02-12 13:24

Transformer_复现_多头注意力机制

importosimporttorchimporttorch.nnasnnfromtorch.utils.dataimportDataset,DataLoaderfromtqdmimporttqdmdefread_data(file_path,num=None):withopen(file_path,"r",encoding="utf-8")asf:all_data=f.read().split(
温柔倾怀·2024-02-12 09:18

Java反序列化之CC1链分析

目录前言commons-collections（CC）构造利用链第一步InvokerTransformer第二步ChainedTransformer第三步ConstantTransformer第四步服务端生成
安全混子·2024-02-12 09:54

Java安全 CC链1分析(Lazymap类)

AnnotationInvocationHandler类完整exp：前言在看这篇文章前，可以看下我的上一篇文章，了解下cc链1的核心与环境配置Java安全CC链1分析前面我们已经讲过了CC链1的核心ChainedTransformer
Elitewa·2024-02-12 09:23

ChatGPT 4.0 升级指南, ChatGPT Plus（GPT 4.0） 有何优势？

ChatGPT是由OpenAI开发的一种基于人工智能的聊天机器人，它基于强大的语言处理模型GPT（GenerativePre-trainedTransformer）构建。
Draven21·2024-02-12 08:17

JBOSS漏洞

Java反序列化invoker/JMXInvokerServlet修复:使用Winzip打开jar文件，在org/apache/commons/collections/functors/InvokerTransformer.class
唐小风7·2024-02-12 00:48

【论文阅读】一文读懂Mamba：具有选择状态空间的线性时间序列建模

Mamba:Linear-TimeSequenceModelingwithSelectiveStateSpacesMamba：基于选择状态空间的线性时间序列建模论文两位作者AlbertGu和TriDao，博士都毕业于斯坦福大学，导师为ChristopherRé。AlbertGu现在是CMU助理教授，多年来一直推动SSM架构发展。他曾在DeepMind工作，目前是CartesiaAI的联合创始人及首
啵啵菜go·2024-02-11 21:27

phpy ：PHP 与 Python 互调用库，为 PHP 引入 Python 生态，PHP 也可以写 AI 了

包括当下非常流行的PyTorch、transformers、TensorFlow等AI库，以及Numpy、Pandas、Scikit等科学计算库，还可以使用PyQt、wxPython等图形界面库。
·2024-02-11 17:07

DL-Paper精读：DeiT

Trainingdata-efficientimagetransformersa&distillationthroughattentionhttps://arxiv.org/abs/2012.12877BackgroundTransformer
星月野1·2024-02-11 16:50

【论文精读】GPT1

本文提出一种无监督预训练和有监督微调的组合的半监督方法，具体为：采用两阶段训练过程，首先使用语言建模目标在大量未标注数据上学习模型的初始参数，随后使用有监督目标微调预训练模型以适应目标任务模型架构使用Transformer
None-D·2024-02-11 15:42

【论文精读】Swin Transformer

摘要ViT的缺点：Transformer在语言处理中的基本元素是wordtoken，其特点是语义信息比较密集。
None-D·2024-02-11 15:12

【论文精读】ViT-Adapter

摘要视觉transformer类的模型可以分为普通ViT和视觉transformer变体两类。
None-D·2024-02-11 15:12

【论文精读】 Vision Transformer（ViT）

摘要验证了当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
None-D·2024-02-11 15:11

【论文精读】RetNet

摘要Transformer是大型语言模型的主流架构。然而，transformer的训练并行性是以低效的推理为代价，这使得transformer对部署不友好。
None-D·2024-02-11 15:11

【论文精读】Transformer

故本文提出Transformer，一种非递归式的模型架构，完全依靠注意力机制来获取序列输入和输出之间的全局依赖关系，且Transformer允许并行化计算。
None-D·2024-02-11 15:40

DALLE3.0结合ChatGPT生成专属prompt（健身版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:45

DALLE3.0结合ChatGPT生成prompt（表情四拼版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:44

DALLE3.0结合ChatGPT生成专属prompt（甜美版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确度将其细腻地转化为视觉艺术作品。2.创作体
yueqingll·2024-02-11 14:14

DALLE3.0结合ChatGPT生成专属prompt（杂志版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:14

DALLE3.0结合ChatGPT生成专属prompt（汽车版）

倚仗先进的Transformer架构所赋予的强大自然语言理解能力，DALL-E3能够深度领会用户的设计意图，并以令人惊叹的准确
yueqingll·2024-02-11 14:14

Bert与ChatGPT

1.Bert模型BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种预训练语言表示的方法，由GoogleAI在2018年提出。
ALGORITHM LOL·2024-02-11 07:24

《零基础实践深度学习》实践导学 01

如：模型算法方面：新增CV、NLP和推荐领域经典模型和算法介绍，以及相应的代码实现，如Transformer、BERT等。产业应用方面：新增AI产业应用方法论和使用工具介
软工菜鸡·2024-02-11 07:15

使用Transformer编码器进行序列数据分类（上）

使用Transformer编码器进行序列数据分类（上）搭建EncoderClassimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFlen_traj
hhy_csdn·2024-02-11 06:30

Behind chatGPT

2023-02-16whatischarGPT,chatGPTisachatbotusingGenerativePre-trainedTransformer.whatisTransformer?
joytrue·2024-02-11 01:52

大模型基础架构的变革：剖析Transformer的挑战者（上）

随着大模型在应用层面的发展，支撑大模型的底层架构模型Transformer所存在的各种问题也逐渐显现，业内一直都在寻找Transformer框架的替代方法。
深度人工智能·2024-02-10 15:09

大模型基础架构的变革：剖析Transformer的挑战者（中）

上一篇文章中，我们介绍了RetNet、RWKV、Mamba等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构，它们分别是UniRepLKNet
深度人工智能·2024-02-10 15:38

大模型基础架构的变革：剖析Transformer的挑战者（下）

上一篇文章中，我们介绍了UniRepLKNet、StripedHyena、PanGu-π等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构
深度人工智能·2024-02-10 15:08

transformers之agent

HuggingFace发布了TransformersAgent，一种利用自然语言从精选工具集合中选择工具并完成各种任务的代理。
月疯·2024-02-10 13:07

Pipeline是如何运行

以第一个情感分析pipeline为例，我们运行下面的代码fromtransformersimportpipelineclassifier=pipeline("sentiment-analysis")result
月疯·2024-02-10 13:06

transformers重要组件（模型与分词器）

1、模型：fromtransformersimportAutoModelcheckpoint="distilbert-base-uncased-finetuned-sst-2-english"model
月疯·2024-02-10 13:06

【读点论文】A Survey on Vision Transformer,2022年华为诺亚最新综述研究，从发展到任务，整体到局部。ViT有研究价值在于有很多问题还没有解决，真理是阶段性的产物

ASurveyonVisionTransformerAbstracttransformer最早应用于自然语言处理领域，是一种主要基于自注意机制的深度神经网络。
羞儿·2024-02-10 13:02

Transformer的PyTorch实现之若干问题探讨（二）

在《Transformer的PyTorch实现之若干问题探讨（一）》中探讨了Transformer的训练整体流程，本文进一步探讨Transformer训练过程中teacherforcing的实现原理。
微凉的衣柜·2024-02-10 13:30

AI助力农作物自动采摘，基于DETR(DEtection TRansformer)开发构建作物生产场景下番茄采摘检测计数分析系统

去年十一那会无意间刷到一个视频展示的就是德国机械收割机非常高效自动化地24小时不间断地在超广阔的土地上采摘各种作物，专家设计出来了很多用于采摘不同农作物的大型机械，看着非常震撼，但是我们国内农业的发展还是相对比较滞后的，小的时候拔草是一个人一列蹲在地里就在那埋头拔草，不知道什么时候才能走到地的尽头，小块的分散的土地太多基本上都是只能人工手工来取收割，大点的连片的土地可以用收割机来收割，不过收割机基
Together_CZ·2024-02-10 12:52

AI助力农作物自动采摘，基于DETR(DEtection TRansformer)开发构建番茄采摘场景下番茄成熟度检测识别计数分析系统

去年十一那会无意间刷到一个视频展示的就是德国机械收割机非常高效自动化地24小时不间断地在超广阔的土地上采摘各种作物，专家设计出来了很多用于采摘不同农作物的大型机械，看着非常震撼，但是我们国内农业的发展还是相对比较滞后的，小的时候拔草是一个人一列蹲在地里就在那埋头拔草，不知道什么时候才能走到地的尽头，小块的分散的土地太多基本上都是只能人工手工来取收割，大点的连片的土地可以用收割机来收割，不过收割机基
Together_CZ·2024-02-10 12:21

NLP之transformer -Task01

这段文本的情感倾向是正向的，“我在学习transformer”和“如何学习transformer”这两段文本是相似的。序列标注：对文本序列中的token、字或者词进行分类
曼曼668·2024-02-10 11:55

【大模型】大语言模型前沿技术系列讲座-学习笔记1：人工智能发展史

最近参加了深蓝学院举办的《大型语言模型前沿技术系列分享》，该系列分享以大模型(LLM)为背景，以科普、启发为目的，从最基本的Transformer开始讲起，逐步涉及一些更高阶更深入的课题，涵盖大模型基础
不雨_亦潇潇·2024-02-10 09:22

深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战

文章目录深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战一、引言传统NLP技术概览规则和模式匹配基于统计的方法词嵌入和分布式表示循环神经网络（RNN）与长短时记忆网络（LSTM）Transformer
星川皆无恙·2024-02-10 07:43

Self-Attention 和 Multi-Head Attention 的区别——附最通俗理解！！

文章目录前言一、简要介绍二、工作流程三、两者对比四、通俗理解前言随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-HeadAttention（多头注意力机制
JOYCE_Leo16·2024-02-10 06:13

英文论文阅读/写作-词汇

1.表达证明，证实的单词validate、verify、corroborate、confirm例：1.Samplesimulationresultsshallbepresentedtocorroborate(可用verify替代)thetheoreticalanalysisaswellasvalidatetheeffectivenessoftheproposedalgorithm.2.Weveri
踏乡墨客·2024-02-10 06:16

星辰AI大模型TeleChat-7B评测

TeleChat-7B是由中电信AI科技有限公司发的第一个千亿级别大模型，基于transformerdecoder架构和清洗后的1TB高质量数据训练而成，取得了相同参数量级别的SOTA性能，并且将推理代码和清洗后的训练数据都进行了开源
just_sort·2024-02-10 04:25

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

摘要多步（尺度）预测通常包含一个复杂的输入组合——包括静态（即时不变）协变量、已知的未来输入，以及其他仅在过去观察到的外生时间序列——没有任何关于它们如何与目标相互作用的先验信息。几种深度学习方法已经被提出，但它们通常是“黑盒”模型，并不能阐明它们如何使用实际场景中出现的全部输入。在本文中，我们介绍了时间融合变压器(TFT)——一种新的基于注意的架构，它结合了高性能的多步预测和对时间动态的可解释的
AyyB·2024-02-09 23:30

大模型时代，图像描述生成（image caption）怎么走？

主流结构：Transformer为了实现图像描述的任务，常见的方法是采用编码器-解码器（encoder-decoder）的
Only_one_road·2024-02-09 21:17

【Transformer-Hugging Face 05/10】 使用 AutoClass 加载预训练实例

目录一、说明二、自动分词器三、自动图像处理器四、自动特征提取器五、自动处理器六、自动模型七、在TensorFlow中八、自动骨干网一、说明  由于有如此多不同的Transformer架构，为您的检查点创建一个架构可能具有挑战性
无水先生·2024-02-09 20:26

遥感基础模型汇总

文章目录一、引言二、单一模态2.1基础模型RingMo:ARemoteSensingFoundationModelWithMaskedImageModelingAdvancingPlainVisionTransformerTowardsRemoteSensingFoundationModelSatMAE
Magic@·2024-02-09 17:08

图像处理之《生成隐写流》论文阅读

一、文章摘要生成隐写术(GS)是一种新的数据隐藏方式，其特点是直接从秘密数据生成隐写介质。现有的GS方法通常因性能差而受到批评。本文提出了一种新的基于流的GS方法——生成隐写流(GSF)，该方法可以直接生成隐写图像而不需要封面图像。我们将隐写图像生成和秘密数据恢复过程作为一个可逆变换，在输入的秘密数据和生成的隐写图像之间建立可逆的双客观映射。在前向映射中，将秘密数据隐藏在Glow模型的输入潜变量中
Hard Coder·2024-02-09 17:59

用35行代码开发一个自己的AI对话机器人

之前也写了好几篇关于ChatGPT的文章了，领略到了与深入优化的GPT-3（GenerativePre-trainedTransformer）对话过程中的各种惊喜。
也鱼实验室·2024-02-09 17:43

ValueError: PEFT backend is required for this method.

ifnotUSE_PEFT_BACKEND:raiseValueError("PEFTbackendisrequiredforthismethod.")找到定义此变量文件，PEFT>=0.6andtransformers
半度、·2024-02-09 15:44

论文阅读_对比学习_SimCLR

介绍英文题目：ASimpleFrameworkforContrastiveLearningofVisualRepresentations中文题目：视觉表征对比学习的简单框架论文地址：https://arxiv.org/abs/2002.05709v2领域：深度学习，知识表示，半监督学习，对比学习发表时间：2020作者：TingChen，Hinton团队，GoogleResearch出处：ICML被
xieyan0811·2024-02-09 15:20
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他