Transformer论文学习

LLM-2022：InstructGPT【GPT3-（问题和答案拼成一段对话，使用这些对话微调GPT3）-＞SFT（监督微调）-（SFT的答案排序后的数据集上再训练）-＞RM-＞RL（强化学习）】

一、前言GPT系列是OpenAI的一系列预训练文章，GPT的全称是GenerativePre-TrainedTransformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型
u013250861·2023-11-22 22:34

【收藏】时间序列预测入门必读的4篇论文

篇论文见文末↓01传统统计学算法和ML/DL算法的优劣时间序列预测常用的传统的统计学算法有ARIMA,ETS,GARCH等，常用的机器学习算法和深度学习算法有广义线性模型、xgboost、LSTM、CNN、Transformer
深度学习技术前沿·2023-11-22 20:04

【论文精读】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting文章目录【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting
程序媛小哨·2023-11-22 19:54

[读论文]DiT Scalable Diffusion Models with Transformers

论文翻译ScalableDiffusionModelswithTransformers-CSDN博客论文地址：https://arxiv.org/pdf/2212.09748.pdf项目地址：GitHub-facebookresearch
计算机视觉-Archer·2023-11-22 17:08

新的任务范式：Program-guided Tasks

来自：Smarter推荐一下我们的工作:ProTo:Program-GuidedTransformerforProgram-GuidedTasks(https://arxiv.org/abs/2110.00804
zenRRan·2023-11-22 10:51

DETR目标检测新范式带来的思考

作者丨encounter1997@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/366938351编辑丨极市平台导读为了填补transformer在CV领域的空白，由此FacebookAI
Tom Hardy·2023-11-22 10:51

Transformers库总体介绍

Transformers库是什么Transformers库是一个在自然语言处理（NLP）领域广泛使用的强大库，提供了一套全面的工具和预训练模型，用于执行各种NLP任务。
taoli-qiao·2023-11-22 10:21

Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction

PixelAdaptiveDeepUnfoldingTransformerforHyperspectralImageReconstruction1.摘要2.目的3.网络设计3.1ProblemFormulation3.2RevistingtheDeepUnrollingFramework3.3Framework3.3.1Pixel-AdaptivePriorModule3.3.2Non-local
库博酱·2023-11-22 09:26

Contextual Transformer Networks for Visual Recognition

ContextualTransformerNetworksforVisualRecognition1.摘要2.目的3.网络设计代码地址1.摘要Transformerwithself-attentionhasledtotherevolutionizingofnaturallanguageprocessingfield
库博酱·2023-11-22 09:55

Patcher: Patch Transformers with Mixture of Experts for Precise Medical Image Segmentation

ContextualTransformerNetworksforVisualRecognition1.摘要2.目的3.网络设计3.1OverallArchitecture3.2PatcherBlock3.3PatcherEncoder3.4MixtureofExpertsDecoder
库博酱·2023-11-22 09:55

2021秋招-总目录

2021秋招-目录知识点总结预训练语言模型:Bert家族1.1BERT、attention、transformer理解部分B站讲解–强烈推荐可视化推倒结合代码理解代码部分常见面试考点以及问题:word2vec
LBJ_King2020·2023-11-22 09:45

Transformer——encoder

本文参考了b站的Eve的科学频道中的深入浅出解释Transformer原理和DASOU讲AI中的Transformer从零详解。
牛像话·2023-11-22 09:45

2022最新版-李宏毅机器学习深度学习课程-P49 GPT的野望

GPT→类似于TransformerEncoder训练任务：PredictNextToken使用MASK-attention，不断预测“下一个token”。可以用GPT生成文章。
QwQllly·2023-11-22 08:49

时序预测 | Pytorch实现TCN-Transformer的时间序列预测

时序预测|Pytorch实现TCN-Transformer的时间序列预测目录时序预测|Pytorch实现TCN-Transformer的时间序列预测效果一览基本介绍程序设计效果一览基本介绍基于TCN-Transformer
机器学习之心·2023-11-22 08:43

从CNN到Transformer：基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

我国高分辨率对地观测系统重大专项已全面启动，高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成，将成为保障国家安全的基础性和战略性资源。随着小卫星星座的普及，对地观测已具备多次以上的全球覆盖能力，遥感影像也不断被更深入的应用于矿产勘探、精准农业、城市规划、林业测量、军事目标识别和灾害评估。未来10年全球每天获取的观测数据将超过10PB，遥感大数据时代已然来临。点
梦想的初衷~·2023-11-22 07:21

【腾讯云 HAI域探秘】完蛋，我被LLM包围了（基于HAI+ChatGLM-6B+CloudStudio）

一、背景介绍1.1ChatGPTandChatGLM-6BChatGPT（全名：ChatGenerativePre-trainedTransformer），是OpenAI研发的一款聊天机器人程序，于2022
enki0815·2023-11-22 04:27

YOLO改进系列之注意力机制（CoTAttention模型介绍）

CoTAttention网络中的“CoT”代表“Cross-modalTransformer”，即跨模态T
BestSongC·2023-11-22 03:35

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

从Tokenizers库获得的tokenizers可以非常简单地加载到Transformers。
wwlsm_zql·2023-11-21 23:59

2019-4-1晨间日记

周目标·完成进度弄完论文学习·信息·阅读论文健康·饮食·锻炼早睡早起，饮食清淡（一定要戒油诫辣），多喝水，多运动。人际·家
紫薇忘了水葫芦·2023-11-21 21:46

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

手把手带你在AutoDL上部署InternLM-Chat-7BTransformers调用项目地址：https://github.com/KMnO4-zx/self_llm.git如果大家有其他模型想要部署教程
Unicornlyy·2023-11-21 21:08

ESTransformer：一个批量导入导出ElasticSearch索引数据的自动化工具

ESTransformer：一个批量导入导出ElasticSearch索引数据的自动化工具下载地址导出填写要导出的es连接信息，IndexName填写要导出的索引名，支持通配符QueryBody填写可填写查询语句
如意机反光镜裸·2023-11-21 18:33

SpringBoot调取OpenAi接口实现ChatGpt功能

GPT(GenerativePretrainedTransformer)是一种自然语言处理模型，使用预训练技术自动完成各种任务，包括自然语言
Blet-·2023-11-21 18:02

CV计算机视觉每日开源代码Paper with code速览-2023.11.16

【基础网络架构】ConvNetvsTransformer,SupervisedvsCLIP:BeyondImageNetAccuracy论文地址：https://arxiv.org//pdf/2311.09215
CV51·2023-11-21 14:59

openAI和微软的chatgpt哪家的厉害

OpenAI和微软都开发了强大的聊天AI模型，OpenAI的GPT（GenerativePre-trainedTransformer）系列模型，包括最新的GPT-3，以其惊人的语言生成和理解能力而闻名。
图灵追慕者·2023-11-21 11:47

注意力机制（Attention）、自注意力机制(Self Attention)和多头注意力(Multi-head Self Attention)机制详解

MatMul3.scale+softmax归一化4.MalMul2.3自注意力机制的缺陷三、多头自注意力机制3.1简介3.2实现步骤3.3公式参考感谢我的互联网导师：水论文的程序猿参考资料和图片来源：Transformer
好喜欢吃红柚子·2023-11-21 10:23

Transformer详解一：transformer的由来和先导知识

Word2Vec模型：得到词向量CBOWSkip-gramWord2Vec和NNLM的区别Word2Vec的缺陷四、ELMO模型：通过预训练得到词向量参考资料感谢我的互联网导师：水论文的程序猿参考资料和图片来源：Transformer
好喜欢吃红柚子·2023-11-21 10:53

文本生成：Transformer与GPT模型

内容摘要：本文将详细介绍Transformer和GPT模型在文本生成中的原理，包括注意力机制、位置编码、解码器等要点。同时，将通过代码实例展示每个要点的实际应用。
PyTechShare·2023-11-21 10:58

自然语言处理：Transformer与GPT

Transformer和GPT（GenerativePre-trainedTransformer）是深度学习和自然语言处理（NLP）领域的两个重要概念，它们之间存在密切的关系但也有明显的不同。
智慧医疗探索者·2023-11-21 10:51

Transformer解释

和seq2seq模型一样，transformer也是encoder和decoder组成。Transformer的时间复杂度为O(LN^2H)，L为模型层数，H是注意力个数，N表示输入序列长度。
Mark_Aussie·2023-11-21 06:56

Transformer解码层用mask解释

Transformer解码层需要用mask的原因如下：在Transformer解码过程中，为了模拟在真实的inference场景中，当前位置看不到下一位置，且同时需要上一位置的信息，所以在训练的时候加了
一直跑·2023-11-21 06:26

Transformer中WordPiece/BPE等不同编码方式详解以及优缺点

有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）博主原文链接：https://www.yourmetaverse.cn/nlp/493/（封面图由文心一格生成）Transformer
Chaos_Wang_·2023-11-21 03:48

FlashAttention计算过程梳理

从FlashAttention到PagedAttention,如何进一步优化Attention性能FlashAttention图解（如何加速Attention）FlashAttention开源代码TransformerBlock
胖胖大海·2023-11-21 03:05

图解Transformer

https://blog.csdn.net/qq_41664845/article/details/84969266http://nlp.seas.harvard.edu/2018/04/03/attention.html#attentionhttp://nlp.seas.harvard.edu/2018/04/03/attention.html#attentionhttps://towardsd
AbeLiu小亮·2023-11-21 02:00

Datawhale组队学习NLP_Bert文本分类学习笔记

使用Bert进行文本分类1数据的读入1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式
宝友你好·2023-11-21 01:02

机器学习笔记

目录机器学习基本概念介绍深度学习反向传播前向传播反向传播pytorch梯度下降算法卷积神经网络（CNN）卷积层池化层自注意力机制（self-attention）循环神经网络（RNN）长短期记忆递归神经网络（LSTM）Transformer
czyxw·2023-11-21 01:57

【AIGC】从零手写一个GPT

手写一个GPT在GPT，确切的说是Transformer，出现之前，一个问题长久地困扰着人们——如何让两句内容不同、但语义相近的句子得到较为接近的表示。
Hellespontus·2023-11-21 00:13

一种基于Transformers架构的线描述子

标题：LineasaVisualSentence:Context-awareLineDescriptorforVisualLocalization作者：SunghoYoon1andAyoungKim2∗开源地址:https://github.com/yosungho/LineTR本文主要记录的是LT描述子的构建过程LT描述子的优点：通过将线段视为句子，将点视为单词，提出了一种使用transform
qiuqiang1168·2023-11-20 23:10

CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？

同济计算机博士半小时就教会了我五大深度神经网络，CNN/RNN/GAN/transformer/LSTM一次学会，简直不要太强！
张志翔的博客·2023-11-20 21:23

[论文学习]FlushTime: Towards Mitigating Flush-based Cache Attacks via Collaborating Flush Instructions a

摘要ARMv8-A处理器通常利用多层缓存、无序执行和分支预测等优化技术来提高性能。这些优化技术不可避免地受到缓存相关攻击的威胁，包括Flush-Reload、Flush-Flush、Meltdown、Spectre及其变体。这些攻击可以打破不同进程之间甚至用户和内核空间之间的隔离边界。研究人员提出了许多防御方案来抵御这些与缓存相关的攻击。然而，它们要么需要修改硬件体系结构，要么覆盖范围不完整，要么
晴空对晚照·2023-11-20 15:43

本地部署 Qwen-14B-Chat

Qwen-14B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包
engchina·2023-11-20 14:48

大模型推理优化--TensorRT-LLM初体验

github:https://github.com/NVIDIA/TensorRT-LLM/tree/main1.介绍TensorRT-LLM可以视为TensorRT和FastTransformer的结合体
有来有去9527·2023-11-20 12:22

多模式脑肿瘤MRI分割中的视觉变换器：综述

Visiontransformersinmulti-modalbraintumorMRIsegmentation:Areview多模式脑肿瘤MRI分割中的视觉变换器：综述脑肿瘤介绍传统方法分割TransformerMethodPureTransformerVITBIShttps
火柴狗·2023-11-20 12:45

DEEP-FRI: Sampling Outside the Box Improves Soundness论文学习笔记

1.引言前序博客有：DEEPFRI协议AsummaryontheFRIlowdegreetest前2页导读RISCZero的手撕STARKReed-SolomonCodes——RS纠错码Reed-SolomonCodes及其与RISCZerozkVM的关系EliBen-Sasson等人2019年论文《DEEP-FRI:SamplingOutsidetheBoxImprovesSoundness》。
mutourend·2023-11-20 10:49

【论文复现】QAFactEval: 《QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization》

NAACL2022）代码https://github.com/salesforce/QAFactEval本人的服务器：学校实验室服务器，不支持正常访问huggingface因为本论文的时间是2021年，当时使用的transformers
一饭名厨姚鲲鲲·2023-11-20 08:31

时间序列预测实战(十三)定制化数据集FNet模型实现滚动长期预测并可视化结果

官方论文代码地址官方代码地址->官方下载地址Github个人修改代码地址->个人修改版本呢的下载地址CSDN一、本文介绍本博客将介绍一种新的时间序列预测模型——FNet，它通过使用傅里叶变换代替自注意力机制，旨在解决传统Transformer
Snu77·2023-11-20 07:59

风火编程--深度学习算法介绍

深度学习算法介绍缺陷检测uflow目标位置检测yolo\图片转视频sadtalker文本转语音so-vits-svc论文总结工具chatpaper图像去模糊EfficientFrequencyDomain-basedTransformersforHigh-QualityImageDeblurring
风火编程·2023-11-20 07:53

深入理解注意力机制（下）——缩放点积注意力及示例

一、介绍在这篇文章中，我们将重点介绍Transformer背后的ScaledDot-ProductAttention，并详细解释其计算逻辑和设计原理。
无水先生·2023-11-20 05:45

Unity Meta Quest 一体机开发（七）：配置玩家 Hand Grab 功能

HandGrabVisual和HandGrabGlow⭐更新BestHoverInteractorGroup配置可抓取物体（无抓取手势）⭐刚体和碰撞体⭐Grabbable脚本TransferOnSecondSelectionTransformer
YY-nb·2023-11-20 04:07

总结 CNN 模型：将焦点转移到基于注意力的架构

直到2021年VisionTransformers(ViTs)出现，这个领域才开始发生变化。现在，是时候采用受Transformer架构启发的基于注意力的模型了，使我们能够有效地适应各种数据集变化。
无水先生·2023-11-20 04:41

大模型落地的必经之路 | GPTQ加速LLM落地，让Transformer起飞！

作者|小书童编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享，如有侵权，联系删文生成预训练Transformer
自动驾驶之心·2023-11-20 02:22
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他