transformer论文阅读第72页

目标检测算法改进系列之Backbone替换为PoolFormer

PoolFormerMetaFormer是颜水成大佬的一篇Transformer的论文，该篇论文的贡献主要有两点：第一、将Transformer抽象为一个通用架构的MetaFormer，并通过经验证明MetaFormer

我悟了-·2023-10-06 02:25

目标检测算法改进系列之Backbone替换为InceptionNeXt

InceptionNeXt受VisionTransformer长距离依赖关系建模能力的启发，最近一些视觉模型开始上大Kernel的Depth-Wise卷积，比如一篇出色的工作ConvNeXt。

我悟了-·2023-10-06 01:54

Transformer学习

语法分析文章归类问题目标检测TransformerEncoder结构multi-headattentionblock为何batch-norm不如layer-norm？

王小燊oom·2023-10-05 23:21

推荐系统论文阅读（二十七)-GraphSAGE：聚合方式的图表示学习

论文：论文题目：《InductiveRepresentationLearningonLargeGraphs》论文地址：https://arxiv.org/pdf/1706.02216.pdf利用图信息的推荐我们在之前的文章里面也介绍了几篇，SRGNN，node2vec，deepwalk等等，这些论文都是利用了图结构的邻域关系来对node进行建模学习。而今天我们要介绍的这篇论文是用邻域聚合(aggr

推荐系统论文阅读·2023-10-05 23:31

[论文阅读]CCPD|Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline

题目：TowardsEnd-to-EndLicensePlateDetectionandRecognition:ALargeDatasetandBaseline作者：ZhenboXu；WeiYang；etc…Motivation:作者认为目前现有的数据集都比较小，于是作者整个大的CCPD，然后基于这个数据集又设计了一个检测模型。Methods:作者通过各种办法做了这个数据集，很丰富，很感人。然后主

一碗白开水一·2023-10-05 21:48

阅读笔记-Multi-Modal Fusion Transformer for end-to-end autonomous driving

来源：arXiv:2104.09224v1代码：https://github.com/autonomousvision/transfuserTitle以前没接触过自动驾驶方面的文章，最近在看transformer

熙熙江湖·2023-10-05 16:52

【转载】Transformer模型详解（图解最完整版）

原文链接：Transformer模型详解（图解最完整版）建议大家看一下李宏毅老师讲解的Transformer，非常简单易懂（个人觉得史上最强transformer讲解）：https://www.youtube.com

い☞殘風☜、™·2023-10-05 14:54

【动手学深度学习-Pytorch版】Transformer代码总结

本文是纯纯的撸代码讲解，没有任何Transformer的基础内容~是从0榨干Transformer代码系列，借用的是李沐老师上课时讲解的代码。本文是根据每个模块的实现过程来进行讲解的。

い☞殘風☜、™·2023-10-05 14:20

Tune-A-Video论文阅读

论文链接：Tune-A-Video:One-ShotTuningofImageDiffusionModelsforText-to-VideoGeneration文章目录摘要引言相关工作文生图扩散模型文本到视频生成模型文本驱动的视频编辑从单个视频生成方法前提DDPMsLDMs网络膨胀微调和推理模型微调基于DDIMinversion的结构引导Tune-A-Video的应用对象编辑背景变化风格转移个性化

zzfive·2023-10-05 14:02

NUWA论文阅读

论文链接：NUWA:VisualSynthesisPre-trainingforNeuralvisUalWorldcreAtion文章目录摘要引言相关工作视觉自回归模型视觉稀疏自注意方法3D数据表征3DNearbySelf-Attention3D编码器-解码器训练目标实验实现细节与SOTA比较T2I微调T2V微调V2V微调Sketch-to-Image(S2I)微调ImageCompletion(

zzfive·2023-10-05 14:02

【arXiv2309】RingMo-lite: A Remote Sensing Multi-taskLightweight Network with CNN-TransformerHybrid Fr

RingMo-lite:ARemoteSensingMulti-taskLightweightNetworkwithCNN-TransformerHybridFramework,arXiv2309论文：

m0_61899108·2023-10-05 13:01

【CVPR 2023】EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention

EfficientViT:MemoryEfficientVisionTransformerwithCascadedGroupAttention,CVPR2023论文：https://arxiv.org/

m0_61899108·2023-10-05 13:30

使用Bert对含有数组、字母的中文文本分词（每个字母、数字都分词）【最细力度】

importtorchfromtransformersimportBertTokenizer,BertModeldeffine_grade_tokenize(raw_text,tokenizer):""

u013250861·2023-10-05 13:25

文本分词、生成tfidf值并降序排序

8importosimportsysimportjiebafromsklearnimportfeature_extractionfromsklearn.feature_extraction.textimportTfidfTransformerfromsklearn.feature_extraction.textimportCountVectorizersys.path.ap

骑单车的王小二·2023-10-05 13:22

202205论文阅读

202205论文阅读每月至少两篇，论文精读。20220501：科学问题营养状态指数(TSI)是评价水生生态系统的重要参数。

Jelliii·2023-10-05 09:18

viewpage2 实现中间大两边小

viewpage.png思路运用viewpage2加transformer实现的首先依赖implementation"androidx.viewpager2:viewpager2:1.0.0"需要注意两个点一个

爱言语论·2023-10-05 09:26

《论文阅读》监督对抗性对比学习在对话中的情绪识别 ACL2023

《论文阅读》监督对抗性对比学习在对话中的情绪识别前言摘要相关知识最坏样本干扰监督对比学习生成式对抗网络纳什均衡琴森香农散度范式球模型架构监督对抗性对比学习模型结构图实验结果问题前言你是否也对于理解论文存在困惑

365JHWZGo·2023-10-05 08:00

论文阅读_LMM 的黎明_GPT4_4V

英文名称:TheDawnofLMMs:PreliminaryExplorationswithGPT-4V(ision)中文名称:LMM的黎明：GPT-4V的初步探索文章:http://arxiv.org/abs/2309.17421中文翻译：https://mp.weixin.qq.com/s/a8Y_yU5XYgJhQ2xMuTK13w作者:ZhengyuanYang日期:2023-09-291

xieyan0811·2023-10-05 08:30

YOLOv7改进：结合CotNet Transformer结构

将CoTBlock代替了ResNet结构中的3x3卷积，在分类检测分割等任务效果都出类拔萃论文：ContextualTransformerNetworksforVisualRecognition论文地址

陈子迩·2023-10-05 07:26

Pyramid Grafting Network for One-Stage High Resolution Saliency Detection

均多是以低分辨率图像作为输入由于采样深度与感受野之间存在矛盾，所以现有的为低分辨率图像设计的模型，在高分辨率图像上无法有精准的效果提出金字塔移植网络（PGNet）：Encoder-Decoder架构，在Encoder中建立两条分支（Swin-Transformer

看到我请叫我去学java吖·2023-10-05 07:12

Pyramid Grafting Network for One-Stage High ResolutionSaliency Detection高分辨率显著图检测算法

该网络结构编码层采用Transformer和cnn融合特征得到全局和局部特征信息，最后通过三段的解码层输出预测结果。

donkey_1993·2023-10-05 07:11

论文阅读——Pyramid Grafting Network for One-Stage High Resolution Saliency Detection

目录基本信息标题目前存在的问题改进网络结构CMGM模块解答为什么要用这两个编码器进行编码另一个写的好的参考基本信息期刊CVPR年份2022论文地址https://arxiv.org/pdf/2204.05041.pdf代码地址https://github.com/iCVTEAM/PGNet标题金字塔嫁接网络的一级高分辨率显著性检测目前存在的问题cosod用于低分辨率图片下表现良好，高分辨率下(10

醋酸洋红就是我·2023-10-05 07:10

OpenMMLab【超级视客营】——支持InverseForm Loss(MMSegmentation的第三个PR)

文章目录1.任务目标1.1issue1.2原理相关资料（论文讲解）InverseFormSTN(SpatialTransformerNetworks)1.3实现相关资料（相关PR）2.理解原理3.代码实现

吨吨不打野·2023-10-05 07:09

GPT系列论文解读：GPT-2

GPT系列GPT（GenerativePre-trainedTransformer）是一系列基于Transformer架构的预训练语言模型，由OpenAI开发。

青云遮夜雨·2023-10-05 00:43

High-Resolution Image Synthesis with Latent Diffusion Models论文阅读+代码复现

摘要：扩散模型在图像数据和其他数据上实现了最先进的合成结果，并且它的公式允许引导机制来控制图像生成的过程而无需重新训练。然而，这种模型直接在像素空间上操作，因此，功能强大的扩散模型通常需要花费大量的计算资源与推理时间。为了在有限的计算资源上进行扩散模型的训练，我们将扩散模型应用在强大的预训练自动编码器的潜在空间。与之前的工作相比，在这种表示上训练扩散模型首次能够在降低复杂度和保留细节之间达到接近最

Ptp_Ai·2023-10-04 22:08

IDEA踩坑记录：查找用法找到的不全怎么办

在我跟CC1链的时候，对InvokerTransformer类的transform()方法进行右键查找用法时，本来应该找到org.apache.commons.collections.map包中的TransformedMap

Jay 17·2023-10-04 21:15

【论文阅读】Self-Supervised Learning of Graph Neural Networks: A Unified Review

论文题目：Self-SupervisedLearningofGraphNeuralNetworks:AUnifiedReview论文地址：https://arxiv.org/abs/2102.107571Introduction可以将SSL的前置任务分为两类：对比模型和预测模型。两类的主要区别在于对比模型需要data-data对进行训练，而预测模型需要data-label对，其中label时从数据

grove975·2023-10-04 19:37

TransFuse

方法Transformer分支将不同尺度的特征图t0、t1和t2t^0、t^1和t^2t0、t1和t2保存起来，之后与对应的CNN分支的特征图融合。

宇来风满楼·2023-10-04 17:14

【论文阅读】多目标跟踪—ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every Detection Box

（一）Title写在前面：ByteTrack作者今年3月的新作品，升级了的V2版本并不是仅仅将ByteTrack扩展到三维场景，而是在二阶段匹配的框架下，结合了JDT和TBD常用的两种基于运动模型进行匹配的方法，提出了一种新的运动匹配模式，思路新颖，在三维MOT数据集nuScence上也达到了state-of-the-art。注意该笔记是针对初稿版本！！（二）Abstract背景介绍MOT的任务是

小叮当了个当·2023-10-04 15:34

【论文笔记】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

原文链接：https://arxiv.org/abs/2301.012831.引言受到DETR启发，本文提出鲁棒的端到端多模态3D目标检测方法CMT（跨模态Transformer）。

byzy·2023-10-04 15:34

TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记

原文链接：https://arxiv.org/pdf/2203.11496.pdf1.引言目前的融合方法分为结果级融合、提案级融合以及点级融合。结果级融合在图像上进行2D检测，然后提升到3D空间生成3D提案，再通过PointNet进行边界框估计；提案级融合使用RoI池化操作在共享的提案内融合多模态特征。这些粗粒度的融合方法性能不佳，因为矩形提案内有大量背景噪声。点级融合性能更佳，即通过校准矩阵建立

byzy·2023-10-04 15:03

TransFusion论文笔记

论文名称：TransFusion:RobustLiDAR-CameraFusionfor3DObjectDetectionwithTransformers论文链接：https://arxiv.org/pdf

高分锻炼队友·2023-10-04 15:02

大模型RLHF算法更新换代，DeepMind提出自训练离线强化学习框架ReST

文章链接：https://arxiv.org/abs/2308.08998大模型（LLMs）爆火的背后，离不开多种不同基础算法技术的支撑，例如基础语言架构Transformer、自回归语言建模、提示学习和指示学习等等

TechBeat人工智能社区·2023-10-04 13:48

大模型 Decoder 的生成策略

IntroductionGreedySearchbeamsearchSamplingTop-KSamplingTop-p(nucleus)sampling总结一、Introduction1、简介近年来，由于在数百万个网页数据上训练的大型基于Transformer

TFATS·2023-10-04 12:37

2020-RecSys-SSE-PT: Sequential Recommendation Via Personalized Transformer

个人认为本文的思想很好，要将个性化引入到Transformer中*（NLP的各种技术在我看来其目的是明确的，一句话是什么意思就是什么意思，所以只考虑这一句话中的word即可，但是对于RS来说，同样itemid

Dive_·2023-10-04 08:01

ChatGPT的底层架构简介

ChatGPT是一种新型自然语言处理模型，它是由OpenAI开发的一种基于Transformer结构的预训练语言模型。ChatGPT主要用于对话生成任务，例如聊天机器人、客户服务等应用场景。

鹤鹤的森林·2023-10-04 06:41

chatgpt技术总结（包括transformer，注意力机制，迁移学习，Ray，TensorFlow，Pytorch）

最近研读了一些技术大咖对chatgpt的技术研讨，结合自己的一些浅见，进行些许探讨。我们惊讶的发现，chatgpt所使用的技术并没有惊天地泣鬼神的创新，它只是将过去的技术潜能结合现在的硬件最大化的发挥出来，也正因如此，旧有技术的可用性，让各大厂嗅到了快速发展的商机，纷纷跑步入场。首先我们要了解chatgpt是一种自然语言处理模型，也可以理解为文本生成模型。在框架上chatgpt采用了transfo

笑傲江湖2023·2023-10-04 06:11

[论文笔记]BitFit

引言今天带来一篇参数高效微调的论文笔记，论文题目为基于Transformer掩码语言模型简单高效的参数微调。BitFit，一种稀疏的微调方法，仅修改模型的偏置项(或它们的子集)。

愤怒的可乐·2023-10-04 05:17

论文笔记|Unified Language Model Pre-training for Natural Language Understanding and Generation

GPT：使用从左到右的Transformer逐字预测文本序列。BERT：采用双向Transformer编码器，结合左右上下文来预测掩码。BERT显著提高了许多NLP任务

期待成功·2023-10-04 01:56

论文笔记 Unified Language Model Pre-training for Natural Language Understanding and Generation

UNILM是一个多层Transformer网络，使用三种类型的语言建模任务进行预训练:单向(包括l-to-r和r-to-l)、双向和seq2seq预测。

RunningQzh·2023-10-04 01:56

2022-07-11

NatMacInt|基于语言模型的蛋白质设计原创mumu图灵基因2022-07-1108:32发表于江苏收录于合集#前沿生物大数据分析撰文：mumuIF=15.508推荐度：⭐⭐⭐⭐⭐亮点：作者认为基于transformer

图灵基因·2023-10-04 00:35

大规模语言模型--训练成本

目前，基于Transformers架构的大型语言模型(LLM)，如GPT、T5和BERT，已经在各种自然语言处理(NLP)任务中取得了SOTA结果。

hanscalZheng·2023-10-03 23:20

GPT的优势和GPT缺点

GPT，即GenerativePre-trainedTransformer，是一种基于人工智能技术的自然语言处理模型。

zmjia111·2023-10-03 21:58

基于transformer的心脑血管心脏病疾病预测

视频讲解：基于transformer的心脑血管疾病预测完整数据代码分享_哔哩哔哩_bilibili数据展示：完整代码：#pipinstallopenpyxl-ihttps://pypi.tuna.tsinghua.edu.cn

甜辣uu·2023-10-03 21:51

大语言模型之十四-PEFT的LoRA

首先是有32层的Transformer，它们每层的内存占用如下图：图中有六个大矩阵是打了勾的，原始的L

shichaog·2023-10-03 20:52

哈工大2020秋算法设计与分析大作业（一）

哈工大2020秋算法设计与分析大作业（一）前言正文1论文题目标题作者刊物2论文阅读报告2.1摘要2.2问题定义2.3算法或证明过程2.4实验结论哈工大2020秋算法设计与分析大作业（二）前言本课程以前是考试课

( ￣ ▽￣)o╭╯☆#╰( ￣﹏￣)╯·2023-10-03 20:39

计算机视觉——飞桨深度学习实战-图像分类算法原理与实战

第二种是基于Transformer思想的模型，本章重点介绍了ViT和Swin-Transformer模型。第三种是用于移动端设备的轻量级模型

喜欢吃豆·2023-10-03 19:30

Visual Transformer (ViT)模型结构以及原理解析

简介VisualTransformer(ViT)出自于论文《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》，是基于Transformer

HaloZhang·2023-10-03 19:18

SG Former论文学习笔记

超越SWin和CSWinTransformer的新模型代码地址：https://github.com/OliverRensu/SG-Former论文地址：https://arxiv.org/pdf/2308.12216

athrunsunny·2023-10-03 19:44

用Python写一个chatgpt

写一个基于Python的ChatGPT模型需要以下步骤：安装相关的库，如Tensorflow、Transformers等。下载预训练的GPT-2模型。

BIG-HO·2023-10-03 19:09

推荐频道

transformer论文阅读