transformer论文阅读第87页

YOLOv5、YOLOv8改进：HorNet（递归门卷积（g nConv））

1.简介论文地址：https://arxiv.org/abs/2207.14284代码地址：https://github.com/raoyongming/HorNet视觉Transformer的最新进展表明

陈子迩·2023-09-03 01:12

YOLOv5、YOLOv8改进：gnconv 门控递归卷积

1.简介论文地址：https://arxiv.org/abs/2207.14284代码地址：https://github.com/raoyongming/HorNet视觉Transformer的最新进展表明

陈子迩·2023-09-03 01:12

基础论文学习（6）——BeiT

BEiT是把BERT模型成功用在image领域的首创，也是一种自监督训练的形式，所以取名为视觉Transformer的BERT预训练模型。

Yuezero_·2023-09-03 01:53

【论文阅读】Pay Attention to MLPs

作者：GoogleResearch,BrainTeam泛读：只关注其中cv的论述提出了一个简单的网络架构，gMLP，基于门控的MLPs，并表明它可以像Transformers一样在关键语言和视觉应用中发挥作用提出了一个基于

挥剑决浮云 -·2023-09-03 00:16

找分布式工作复习学习系列---市面分布式框架解析之Megatron-LM（三）

通过对Megatron的学习，期望掌握的是：Transformer如何通过multi-node,multi-GPU实现，例如其中的multi-headattentionlayer,point-wisefeed-f

加油11dd23·2023-09-02 23:50

【论文阅读】【金融】【经典论文解读】CAPITAL ASSET PRICES: A THEORY OF MARKET EQUILIBRIUM UNDER CONDITIONS OF RISK

文章目录前言文章结构与摘要论文正文与解读IIntroductionII.OPTIMALINVESTMENTPOLICYFORTHEINDIVIDUALTheInvestor'sPreferenceFunctionTheInvestmentopportunitycurveThePureRateofInterestIII.EQUILIBRIUMINTHECAPITALMARKETIV.THEPRICE

代码小叶·2023-09-02 17:37

YOLOv5算法改进（12）— 替换主干网络之Swin Transformer

SwinTransformer是一种基于Transformer的深度学习模型，它在视觉任务中表现出色。

小哥谈·2023-09-02 14:26

《论文阅读21》Equivariant Multi-View Networks

一、论文研究领域：计算机视觉|多视角数据处理中实现等变性论文：EquivariantMulti-ViewNetworksICCV2019论文链接视频链接二、论文简述在计算机视觉中，模型在不同视角下对数据（例如，点云、图像等）对数据的变化具有一定的响应性。为了使模型能够更好地适应这种变化，不是仅仅对某个特定视角的数据进行训练，研究人员提出了等变多视角网络的概念。能够同时处理多视角数据，并通过共享权重

Darren_pty·2023-09-02 13:36

【Linux】bert-base-cased 不在缓存需要从 s3 上下载的问题

位置/home/xxxx/.cache/torch/pytorch_transformersbert-base-cased下载地址文件名同名json文件内容https://s3.amazonaws.com

KroneX·2023-09-02 08:24

Bevformer：通过时空变换从多摄像机图像学习鸟瞰图表示

论文地址：BEVFormer:LearningBird’s-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers

飞大圣·2023-09-02 06:03

论文阅读_医疗知识图谱_GraphCare

英文名称:GraphCare:EnhancingHealthcarePredictionswithOpen-WorldPersonalizedKnowledgeGraphs中文名称:GraphCare：通过开放世界的个性化知识图增强医疗保健预测文章:http://arxiv.org/abs/2305.12788代码:https://github.com/pat-jj/GraphCare作者:Pen

xieyan0811·2023-09-02 05:50

论文阅读_变分自编码器_VAE

英文名称:Auto-EncodingVariationalBayes中文名称:自编码变分贝叶斯论文地址:http://arxiv.org/abs/1312.6114时间:2013作者:DiederikP.Kingma,阿姆斯特丹大学引用量:248401读后感VAE变分自编码（VariationalAutoencoder）是一种生成模型，它结合了自编码器和概率图模型的思想。它的目标是：解决对复杂性高

xieyan0811·2023-09-02 05:16

“万物皆可扩” 扩散模型

小李已经两个月没有更新了入职后真的忙碌了好多既transformer后扩散模型近来在各大平台开始火起来，感觉逐步成为最近的热门以下附上一些参考链接后续有空再整理成博客~扩散模型综述：《DiffusionModels

LiBiscuit·2023-09-02 00:54

DERT：End-to-End Object Detection with Transformers

AI浩·2023-09-02 00:29

目标检测YOLO实战应用案例100讲-基于聚类与分形的图像几何特征在目标检测算法中的研究

目录前言数据集与评价标准基于Transformer模型的计算机视觉算法相关技术介绍2.1引言

林聪木·2023-09-01 22:30

LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS

LM-INFiNITE：大语言模型的一个简单长度上推广摘要1引言2相关工作3LLMs中OOD因素的诊断4LM-INFINITE5评估6结论和未来工作摘要近年来，基于Transformer的大型语言模型（

UnknownBody·2023-09-01 21:29

周五 2020-06-05 23:00 - 06:00 雨 7h16m

休息-睡觉6:006:006:303-日常-学习强国0:306:307:20饭早10:507:207:432-技能-时间管理-日总结0:237:437:503-日常-0:077:508:431-科研-论文阅读

么得感情的日更机器·2023-09-01 21:16

论文阅读》用提示和释义模拟对话情绪识别的思维过程 IJCAI 2023

《论文阅读》用提示和复述模拟对话情绪识别的思维过程IJCAI2023前言简介相关知识promptengineeringparaphrasing模型架构第一阶段第二阶段History-orientedpromptExperience-orientedPromptConstructionLabelParaphrasing

365JHWZGo·2023-09-01 20:37

论文阅读：Image as Set of Points

摘要卷积网络认为图像是带有规则形状的有组织的像素点，通过卷积操作对局部区域进行特征提取。ViTs把图像认为是块的序列，通过注意力机制在全局范围内进行特征提取。我们提出了一种不同于ConvNets和ViTs的特征提取结构Contetxclusters(CoCs)引言CoCs把图片视为无组织的点的集合，通过简单的聚类算法进行特征提取。具体来说，每个点包含原始特征（比如颜色等等）和位置信息（坐标）,通过

专注认真努力·2023-09-01 19:31

The Annotated Transformer（Attention Is All You Need）

"AttentionisAllYouNeed"[1]一文中提出的Transformer网络结构最近引起了很多人的关注。

别致的SmallSix·2023-09-01 18:10

NLP模型（五）——Transformer模型实现（以一个小型文本翻译为例子）

文章目录1.数据集处理1.1提取源和目标1.2获取词典1.3字符串转为编号1.4得到输入输出2.制作数据管道3.构建模型3.1模型整体架构3.2编码器3.2.1Encoder整体结构3.2.2位置编码3.2.3多头注意力机制3.2.4前馈神经网络3.2.5单层Encoder3.3编码器3.3.1Decoder整体结构3.3.2带mask的多头注意力机制3.3.3单层Decoder3.4预测层4.模

Suppose-dilemma·2023-09-01 14:17

NLP模型（五）——Transformer模型介绍

文章目录1.Transformer结构2.Encoder结构2.1Transformer输入2.2相对位置编码2.3Self-Attention2.4Multi-HeadAttention2.5Encoder

Suppose-dilemma·2023-09-01 14:15

什么是GPT？一文给出答案

生成式预训练Transformer模型，通常称为GPT，是一系列使用Transformer架构的神经网络模型，是为ChatGPT等生成式人工智能应用程序提供支持的人工智能（AI）的一项关键进展。

景联文科技·2023-09-01 10:22

使用自己的领域数据扩充baichuan模型词表（其他模型也一样）

环境jsonlines==3.1.0sentencepiece==0.1.99transformers==4.28.1项目结构其中tokenization_baichuan.py是直接从百川模型文件夹里复制过来的

ToTensor·2023-09-01 10:44

MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection 论文解读

MonoDETR论文解读abstract单目目标检测在自动驾驶领域，一直是一个具有挑战的任务。现在大部分的方式都是沿用基于卷积的2D检测器，首先检测物体中心，后通过中心附近的特征去预测3D属性。但是仅仅通过局部的特征去预测3D特征是不高效的，且并没有考虑一些长距离的物体之间的深度关系，丢失了很多的有意义的信息。在本作中，作者介绍了一种基于DETR框架的用于单目检测的网络。作者通过对原始的trans

CV矿工·2023-09-01 08:34

ChatGPT(对话AI)汇总

ChatGPT的全称为”ConversationalGenerativePre-trainedTransformer”，是一个基于预训练的自然语言处理模型。

一尘之中·2023-09-01 07:37

区块链论文阅读（2）-EVMPatch: Timely and Automated Patching of Ethereum Smart Contracts

Abstract最近利用智能合约代码中的错误进行的攻击造成了毁灭性的后果，从而质疑了这项技术的好处。目前，修复错误并及时部署修补过的合约极具挑战性。由于区块链系统的分布式特性，智能合约始终在线，因此即时修补尤为重要。智能合约管理着大量资产，这些资产面临风险，并且在遭受攻击后往往无法恢复。升级智能合约的现有解决方案依赖于手动且容易出错的流程。本文提出了一个名为EVMPATCH的框架，可以立即自动修补

是永是之·2023-09-01 07:45

标准 Transformer 可以成为强大的超图学习器 Pure Transformers Can Be Powerful Hypergraph Learners

PureTransformersCanBePowerfulHypergraphLearners要闻速览TokenHGT:BasedonTokenGT实验结果结论与局限性这是我的硕士毕业论文，代码Github

是土豆大叔啊！·2023-09-01 06:37

多头自注意力机制的代码实现

文章目录1、自注意力机制2、多头注意力机制transformer的整体结构：1、自注意力机制自注意力机制如下：计算过程：代码如下：classScaledDotProductAttention(nn.Module

masterleoo·2023-09-01 01:34

【NLP】手把手使用PyTorch实现Transformer以及Transformer-XL

手把手使用PyTorch实现Transformer以及Transformer-XLAbstractofAttentionisallyouneed使用PyTorch实现Transformer1.构建Encoder-Decoder

镰刀韭菜·2023-09-01 00:27

Transformer模块（Restormer)

由一个MDTA模块和一个GDFN模块组成一个TransformerBlock我们看一下代码实现：classTransformerBlock(nn.Module):def__init__(self,dim

寂静的以·2023-08-31 21:02

论文阅读4-综述文章：深度卷积神经网络在计算机视觉中的应用研究综述

目标检测传统算法传统算法Cascade+HOG/DPM+Haar/SVM大概意思就是使用一个固定大小的滑动窗口去截取固定窗口大小的图像，分别再进行特征匹配和分类。深度学习算法图像分类传统是传统图像分类算法主要使用ＳＩＦＴ，ＬＢＰ等算法来手动提取特征，再将提取的特征用于训练支持向量机（Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ）等分类器进行分类取得的最好的错误率是28.2%Ｒ-ＣＮＮ模型Ale

人生总可重来·2023-08-31 20:40

机器学习和数据挖掘04-PowerTransformer与 MinMaxScaler

概念PowerTransformer（幂变换器）PowerTransformer是用于对数据进行幂变换（也称为Box-Cox变换）的预处理工具。

丰。。·2023-08-31 20:02

Llama模型结构解析（源码阅读）

LlamaRotaryEmbedding参考资料：https://zhuanlan.zhihu.com/p/636784644https://spaces.ac.cn/archives/8265——《Transformer

lokvke·2023-08-31 20:49

huggingface transformers库中LlamaForCausalLM

fromtransformersimportAutoTokenizer,LlamaForCausalLMmodel=LlamaForCausalLM.from_pretrained(PATH_TO_CONVERTED_WEIGHTS

Jerry_liu20080504·2023-08-31 20:19

论文阅读_基于深度学习的异常检测综述

英文题目：DeepLearningforAnomalyDetection:AReview中文题目：基于深度学习的异常检测综述论文地址：https://arxiv.org/pdf/2007.02500.pdf领域：异常检测，深度学习发表时间：2020.01作者：GuansongPang，阿德莱德大学出处：ACMComput.Surv.被引量：697（谷歌学术）代码和数据：见论文附录A阅读时间：202

xieyan0811·2023-08-31 15:13

【论文精读】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows前言Abstract1.Introduction2.RelatedWork3

HERODING77·2023-08-31 14:34

小文智能GPT助手介绍

ChatGPT（全名：ChatGenerativePre-trainedTransformer），是OpenAI研发的一款聊天机

小文智能·2023-08-31 14:11

免费AI网站汇总(持续更新)

这里面既有基于BERT、GPT-3.5等传统的基于神经网络的文本生成模型，也有基于Transformer网络架构的深度学习文本生成模型，还有一种新诞生的基于深度学习架构来进行文本生成的模型。

music score·2023-08-31 11:03

[论文笔记oc-sort] Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

本文作为OC-SORT的论文阅读记录，中间可能会加入自己的看法，由于是tracking这块的初学者，文中若有错误的认识麻烦读者帮忙修正。

你的小董_·2023-08-31 10:17

ChatGPT详细介绍&原理

ChatGPT的介绍ChatGPT全称为“chatGenerativePre-trainedTransformer”，翻译成中文就是生成型预训练变换模型。

浮沉依稀·2023-08-31 10:57

《论文阅读19》Multisource forest point cloud registration with semantic-guided keypointsand robust RANSAC

一、论文研究领域：点云配准论文：Multisourceforestpointcloudregistrationwithsemantic-guidedkeypointsandrobustRANSACmechanismsInternationalJournalofAppliedEarthObservationsandGeoinformationReceived29August2022,Revised2

Darren_pty·2023-08-31 09:22

《论文阅读21》Group Equivariant Convolutional Networks

一、论文研究领域：机器学习论文：GroupEquivariantConvolutionalNetworksPMLRProceedingsofMachineLearningResearch2016论文链接二、论文简述三、论文详述群等变卷积网络Abstract我们引入群等变卷积神经网络（G-CNN），卷积神经网络的自然泛化，通过利用对称性降低样本复杂度。G-CNN使用G卷积，这是一种新型的层，它享有比

Darren_pty·2023-08-31 09:51

Swintransformer模型的优化

SwinTransformer模型优化文章目录SwinTransformer模型优化1.SwinTransformer概述2.性能瓶颈分析3.模型优化3.1.transpose消除3.2.更好的layergroup3.1.1

算能开发者社区·2023-08-31 07:07

transformer实现词性标注

1、self-attention1.1、self-attention结构图上图是Self-Attention的结构，在计算的时候需要用到矩阵Q(查询),K(键值),V(值)。在实际中，Self-Attention接收的是输入(单词的表示向量x组成的矩阵X)或者上一个Encoderblock的输出。而Q,K,V正是通过Self-Attention的输入进行线性变换得到的。1.2Q，K，V的计算Sel

TechMasterPlus·2023-08-31 07:09

论文阅读 FCOS: Fully Convolutional One-Stage Object Detection

文章目录FCOS:FullyConvolutionalOne-StageObjectDetectionAbstract1.Introduction2.RelatedWork3.OurApproach3.1.FullyConvolutionalOne-StageObjectDetector3.2.Multi-levelPredictionwithFPNforFCOS3.3.Center-nessfo

Re-赟·2023-08-31 06:13

ChatGPT进阶——如何辅助设计E-R图、流程图和时序图等

ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力

山科智能信息处理实验室·2023-08-31 05:59

为什么gpt输出有随机性？

GPT（GenerativePre-trainedTransformer）是一种基于Transformer架构的神经语言模型，它是一个深度学习模型，通过在大规模文本数据上进行预训练，从而能够生成人类语言

风可。·2023-08-31 04:22

贝叶斯人工智能大脑与 ChatGPT

//yetingyun.blog.csdn.net/一、前言论文地址：https://arxiv.org/abs/2308.14732这篇论文旨在研究ChatGenerativePre-trainedTransformer

叶庭云·2023-08-30 16:10

2021-03-17（使用transformer做graph-to-sequence learning）

在这篇文章中，我们提出了HeterogeneousGraphTransformer来独立地建模节点中的各种关系，包括间接关系、直接关系以及

thelong的学习日记·2023-08-30 15:13

推荐频道

transformer论文阅读