transformer论文阅读

[论文阅读]MVF——基于 LiDAR 点云的 3D 目标检测的端到端多视图融合

MVFEnd-to-EndMulti-ViewFusionfor3DObjectDetectioninLiDARPointClouds论文网址：MVF论文代码：简读论文这篇论文提出了一个端到端的多视角融合(Multi-ViewFusion,MVF)算法,用于在激光雷达点云中进行3D目标检测。论文的主要贡献有两个:提出了动态体素化(DynamicVoxelization)的概念。相比传统的硬体素化(
一朵小红花HH·2023-10-27 07:07

[论文阅读]RTMDet——实时目标检测

RTMDetRTMDet:AnEmpiricalStudyofDesigningReal-TimeObjectDetectors设计实时目标检测器的实证研究论文网址：RTMDet摘要本文的目标是设计一种超越YOLO系列的高效实时目标检测器，并且可以轻松扩展到实例分割和旋转目标检测等许多目标识别任务。为了获得更高效的模型架构，本文探索了一种在主干和颈部具有兼容能力的架构，该架构由大内核深度卷积组成的
一朵小红花HH·2023-10-27 07:06

[论文阅读]VirConv(KITTI SOTA 2023.10.17)——用于多模态 3D 目标检测的虚拟稀疏卷积

VirConvVirtualSparseConvolutionforMultimodal3DObjectDetection用于多模态3D目标检测的虚拟稀疏卷积论文网址：VirConv论文代码：VirConv简读论文这篇论文提出了一个称为VirConv的操作符,用于基于虚拟点的多模态3D对象检测。主要的贡献和创新点包括:提出了StochasticVoxelDiscard(StVD)机制,用于加速网络
一朵小红花HH·2023-10-27 07:06

[论文阅读]PillarNeXt——基于LiDAR点云的3D目标检测网络设计

PillarNeXtPillarNeXt:RethinkingNetworkDesignsfor3DObjectDetectioninLiDARPointClouds基于LiDAR点云的3D目标检测网络设计论文网址：PillarNeXt代码：PillarNeXt论文简读这篇论文"PillarNeXt:RethinkingNetworkDesignsfor3DObjectDetectioninLiD
一朵小红花HH·2023-10-27 07:06

[论文阅读]SSN——基于形状特征网络的点云多类目标检测

SSNShapeSignatureNetworksforMulti-classObjectDetectionfromPointClouds基于形状特征网络的点云多类目标检测论文网址：SSN摘要多类别三维目标检测旨在从点云中对多类目标进行定位和分类。由于点云的数据结构是无结构的、稀疏的和噪声的,一些有利于多类别区分的特征如形状信息被利用不足。本文提出了一种新的3Dshapesignature来探索点
一朵小红花HH·2023-10-27 07:35

[论文阅读]PKD——基于Pearson相关系数的目标检测器通用蒸馏框架

PKDGeneralDistillationFrameworkforObjectDetectorsviaPearsonCorrelationCoefficient基于Pearson相关系数的目标检测器通用蒸馏框架论文网址：PKD创新点1.提出FPN特征模仿适用于异构检测器对。之前的工作大多只考虑同质检测器对,很少研究异构情况。2.指出直接最小化特征图之间的均方误差存在问题,如教师和学生特征幅值不同
一朵小红花HH·2023-10-27 07:35

[论文阅读]VoteNet——基于深度 Hough 投票法的点云3D目标检测

VoteNetDeepHoughVotingfor3DObjectDetectioninPointClouds用于点云三维物体检测的深度Hough投票法论文网址：VoteNet总结这篇论文提出了一个称为VoteNet的3D物体检测模型,该模型基于Hough投票机制。其主要创新点包括:将传统的Hough投票与深度学习结合,实现端到端的可微分架构。利用点云网络backbone学习点云特征,作为种子点特
一朵小红花HH·2023-10-27 07:35

【论文阅读】【3d目标检测】Point Density-Aware Voxels for LiDAR 3D Object Detection

论文题目：PointDensity-AwareVoxelsforLiDAR3DObjectDetectioncvpr2022多伦多大学这篇文章主要是对于现在voxel的方法忽略点云在roi中的稠密度的问题做了一定的工作。过去的一些工作要么就是进行规则的voxel操作，在每个voxel的格子中规则地提取feature，要么就是利用FPS考虑一些关键点，来进行特征的提取。这些关键点对于点云的稠密度有一
Lukas88664·2023-10-27 07:00

CT3D：Improving 3D Object Detection with Channel-wise Transformer 论文阅读

所以我们提出CT3D，其中包含regionproposal和aChannel-wiseTransformer。对于每一个proposal都是由proposal-
莫～忆轩*·2023-10-27 07:00

LSAE：Learning Shape-Aware Embedding for Scene Text Detection 场景文本检测----论文阅读笔记

论文题目：LearningShape-AwareEmbeddingforSceneTextDetection香港中文大学和腾讯优图共同发表在2019CVPR论文地址：jiaya.me/papers/textdetection_cvpr19.pdf贡献提出了Shape-AwareLoss，可以很好的分割相邻的文本实例并且可以检测很大很长的文本实例（将图像像素映射到嵌入特征空间中，在该空间中，属于同一
CharlesWu123·2023-10-27 07:00

【论文阅读】【3d目标检测】Density Based Clustering for 3D Object Detection in Point Clouds

论文标题：DensityBasedClusteringfor3DObjectDetectioninPointCloudscvpr2020，新加坡国立大学一部分工作来自这个实验室2019年的一篇iros（标题是EPN:Edge-AwarePointNetforObjectRecognitionfromMulti-View2.5DPointClouds），需要看懂这篇文章还需要看一下前文。看完这篇文章
Lukas88664·2023-10-27 07:30

论文阅读《Accurate Few-shot Object Detection with Support-Query Mutual Guidance and Hybrid Loss》

Background＆Motivation文中将Few-shot学习分为两类：metric-based和optimization-based，后者是元学习的方法。将Few-shot目标检测分为：finetuning-based和finetuning-free。然而以上这些方法都存在几个问题：support中的信息没有指导query中boundingbox的产生，support和query之间缺少交
不说话装高手H·2023-10-27 07:57

[论文阅读]Point Density-Aware Voxels for LiDAR 3D Object Detection（PDV）

PDVPointDensity-AwareVoxelsforLiDAR3DObjectDetection论文网址：PDV论文代码：PDV简读论文摘要LiDAR已成为自动驾驶中主要的3D目标检测传感器之一。然而，激光雷达的发散点模式随着距离的增加而导致采样点云不均匀，不适合离散体积特征提取。当前的方法要么依赖体素化点云，要么使用低效的最远点采样来减轻密度变化引起的有害影响，但在很大程度上忽略了点密度
一朵小红花HH·2023-10-27 07:26

量化HuggingFace的Transformers 模型

量化Transformers模型原文地址：https://huggingface.co/docs/transformers/main/en/main_classes/quantizationAutoGPTQ
Tim_Van·2023-10-27 04:00

基于hugging face的autogptq量化实践

1.量化并保存到本地的#导入库：fromtransformersimportAutoModelForCausalLM,AutoTokenizer,GPTQConfigmodel_id="facebook
dear_queen·2023-10-27 04:29

GLIP，FLIP论文阅读

ScalingLanguage-ImagePre-trainingviaMasking（FLIP，2023）贡献：1.图像端引入MAE的随机MASK，imageencoder只处理未mask的patches（和之前的MAE方法一致），减少了输入序列长度加速训练，减少memory开销。text端没引入mask是因为text信息比较dense（图片信息比较稀疏），mask掉效果反而不好，之后是选择ma
B1CK·2023-10-26 23:49

论文阅读 - MetaTroll: Few-shot Detection of State-Sponsored Trolls with Transformer Adapters

链接：https://arxiv.org/pdf/2303.07354.pdf目录摘要1INTRODUCTION2RELATEDWORK2.1Trolldetection2.2Meta-learning2.3Few-shottextclassification3PROBLEMSTATEMENT4APPROACH4.1StageOneTraining4.2StageTwoTraining4.3Sta
无脑敲代码，bug漫天飞·2023-10-26 23:18

论文阅读 - Detecting the Hidden Dynamics of Networked Actors Using Temporal Correlations

WWW'23https://dl.acm.org/doi/pdf/10.1145/3543873.3587672煽动运动对基于事实的推理构成威胁，侵蚀人们对机构的信任，撕裂我们的社会结构。在21世纪，宣传运动迅速发展，以新的网络身份出现。其中许多宣传活动持续不断，资源充足，因此识别和清除它们既困难又昂贵。社交媒体公司主要通过优先控制"协调的不真实行为"来应对网络宣传的威胁。这一策略的重点是识别明确
无脑敲代码，bug漫天飞·2023-10-26 23:18

论文阅读 - A Large-Scale Longitudinal Multimodal Dataset of State-Backed Information Operations on Twitt

ProceedingsoftheSixteenthInternationalAAAIConferenceonWebandSocialMedia(ICWSM2022)CCF-B目录引言DataAccessDataCollectionState-BackedData(PositiveSet)BackgroundData(NegativeSet)FilteringTweetsDataExploratio
无脑敲代码，bug漫天飞·2023-10-26 23:48

论文阅读 - Hidden messages: mapping nations’ media campaigns

论文链接：https://link.springer.com/content/pdf/10.1007/s10588-023-09382-7.pdf目录1Introduction2Theinfluencemodel2.1Theinfluence‑modellibrary3Data4Methodology4.1Constructingobservations4.2Learningthestate‑tr
无脑敲代码，bug漫天飞·2023-10-26 23:15

目标检测算法回顾之Transformer based篇章

基于Transformer的目标检测方法（一）引言（二）概述（三）发展轴预览（四）CNN-backbone系列4.1DETR与CNN-based的区别DETR的网络结构DETR的评价4.2DeformableDETR4.2.0DeformableDETR
xiaobai_Ry·2023-10-26 22:12

第13期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-10-26 18:12

第10期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-10-26 18:12

第12期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-10-26 18:12

第11期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。
云起无垠·2023-10-26 18:09

一文搞定自注意力机制（Self-Attention）

自注意力机制（Self-Attention）作为注意力机制中的一种，也被称为intraAttention（内部Attention），是大名鼎鼎的Transformer重要组成部分，今天张张将详细介绍自注意力机制
markconca的博客·2023-10-26 14:01

深度学习第四阶段：NLP第二章 Transformer学习笔记

引言1：什么是注意力机制参考我的一篇文章：https://blog.csdn.net/weixin_42110638/article/details/134011134?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22134011134%22%2C%22source%
markconca的博客·2023-10-26 14:56

巴比特丨每日必读：讯飞星火认知大模型 V3.0 正式发布；苹果计划为旗下服务和平台整合 AI 元素...

苹果在iOS17系统中，引入了基于“Transformer”模型的自动纠错功能，表明苹果开始加入生成式AI战局。
巴比特资讯·2023-10-26 14:35

Android 实现圆角方式

实现方式一：Glideglide加载圆角和centercrop的问题，采用如下方式，设置两个TransformerclassRoundedCornerCenterCrop(valradius:Int=0
全球顶尖伪极客·2023-10-26 12:19

GPT-1、GPT-2和GPT-3模型详解及其进化之路

GPT-1模型原理与结构OpenAIgpt模型基于Transformer的语言模型，其利用Transformer的decoder结构来进行单向语言模型的训练。
-柚子皮-·2023-10-26 12:16

LLM：大语言模型

大语言模型发展树主要分成底层和3个分支（transformer-encoder类、transformer类、transformer-decoder类）from:[https://blog.csdn.net
-柚子皮-·2023-10-26 12:16

GPT的前世今生：从gpt1到chatgpt的能力提升

从2017年googlebrain提出transformer模型，到2018年基于transformer模型openai推出了gpt1模型以及google推出了bert模型，到2019-2021年openai
-柚子皮-·2023-10-26 11:11

Transformer英语-法语机器翻译实例

依照Transformer结构来实例化编码器－解码器模型。在这里，指定Transformer编码器和解码器都是2层，都使用4头注意力。
新知图书·2023-10-26 10:14

YOLOv5算法改进（20）— 如何去写YOLOv5相关的论文（包括论文阅读+规律总结+写作方法）

前言：Hello大家好，我是小哥谈。最近一直在阅读关于YOLOv5的相关论文，读着读着我发现一条可以发论文的规律，特此简单总结一下，希望能够对同学们有所启迪！前期回顾：YOLOv5算法改进（1）—如何去改进YOLOv5算法
小哥谈·2023-10-26 09:39

【深度学习】使用Pytorch实现的用于时间序列预测的各种深度学习模型类

深度学习模型类简介按滑动时间窗口切割数据集模型类CNNGRULSTMMLPRNNTCNTransformer简介本文所定义模型类的输入数据的形状shape统一为[batch_size,time_step
汐ya~·2023-10-26 08:46

相对位置编码 relative position encoding

文章是对视频的总结原作者Transformer中有两种常用的位置编码，分别为绝对位置编码和相对位置编码，其中绝对位置编码使用的比较多，也是比较简单的。
翰墨大人·2023-10-26 08:10

18 Transformer 的动态流程

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-26 08:07

19 Transformer 解码器的两个为什么（为什么做掩码、为什么用编码器-解码器注意力）

博客配套视频链接:https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0b站直接看配套github链接：https://github.com/nickchen121/Pre-training-language-model配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.ht
沧海之巅·2023-10-26 08:07

【论文阅读】DenseNet：Densely Connected Convolutional Network

CSDN话题挑战赛第2期参赛话题：学习笔记学习之路，长路漫漫，写学习笔记的过程就是把知识讲给自己听的过程。这个过程中，我们去记录思考的过程，便于日后复习，梳理自己的思路。学习之乐，独乐乐，不如众乐乐，把知识讲给更多的人听，何乐而不为呢?论文DenseNet：DenselyConnectedConvolutionalNetwork论文地址https://openaccess.thecvf.com/c
快乐小胡！·2023-10-26 08:36

浅谈Transformer

目录Transformer模型回顾简述Transformer的输入单词Embedding位置EmbeddingSelf-Attention结构Q，K，V的计算Self-Attention的输出Multi-HeadAttentionEncoder
43v3rY0unG·2023-10-26 08:01

史上最全Transformer面试题

1.史上最全Transformer面试题Transformer为何使用多头注意力机制？
biuHeartBurn·2023-10-26 07:50

VIT-如何将Transformer更好的应用到CV领域

VIT：如何将Transformer更好的应用到CV领域大家好，我是DASOU；最近因为在做TRM在多模态视频的分类，会写一些TRM在CV中的应用，今天先来讲一下VIT；论文名称是：ANIMAGEISWORTH16X16WORDS
biuHeartBurn·2023-10-26 07:50

NLP任务中-layer-norm比BatchNorm好在哪里

NLP任务中，layer-norm比BatchNorm好在哪里本文主要是讲一下，为什么NLP任务中，比如Transformer，使用LayerNorm而不是使用BatchNorm这个问题其实很有意思，理解的最核心的点在于
biuHeartBurn·2023-10-26 07:50

深度学习大模型训练

大模型算法的出现Transformer有了Transformer的基础架构后，在18年推出了BERT预训练模型，之后的所有大模型都是基于Transformer结构和BERT的预训练机制。
Chenql716·2023-10-26 07:49

大模型训练框架

一文搞定分布式训练：dataparallel、distirbuted、deepspeed、accelerate、transformers、horovod-知乎代码地址：taishan1994/pytorch-distributed-NLP
Kun Li·2023-10-26 07:18

2021-arXiv-The Power of Scale for Parameter-Efficient Prompt Tuning

arXiv-ThePowerofScaleforParameter-EfficientPromptTuningPaper:https://arxiv.org/abs/2104.08691Code:https://github.com/google-research/text-to-text-transfer-transformer
发呆的比目鱼·2023-10-26 07:15

论文阅读：Pixel Recurrent Neural Networks

IntroductionPixelRNN和PixelCNN都没有做独立性假设。通过一层256维的softmax层来将像素值当做离散分布来建模。MathModelgeneratinganimagepixelbypixel输入图像是ｎ×ｎ个pixels的x，x可以视为一个长为n2的序列，序列是由x按行读取形成的。为了评估该序列的联合概率分布p(x)，文章将该联合概率表现为n2个条件概率的乘积：而每一个
qq184861643·2023-10-26 07:32

论文阅读：ByteNet, Neural Machine Translation in Linear Time

NeuralTranslationModel给定源语言strings,通过网络模型来估计目标语言stringt的概率分布p(t|s)。与PixelCNN类似，t的联合概率分布可以通过链式法则转化为连续的p(ti|t
qq184861643·2023-10-26 07:32

大语言模型在天猫AI导购助理项目的实践！

输入编码：ChatGPT将经过预处理的文本输入到神经网络中进行编码处理，使用的是多层transformer编码器结构。预测输出：ChatGPT通过对输入进行逐个token预测，输出下一个
机器学习社区·2023-10-26 07:01

论文阅读（一）城市干道分段绿波协调控制模型研究

[1]酆磊,赵欣,李林等.城市干道分段绿波协调控制模型研究[J].武汉理工大学学报(交通科学与工程版),2021,45(06):1034-1038.主要内容：该文介绍了基于绿波带宽和关联度的城市干道分段绿波协调控制模型。通过将主干道划分为不同子区域，并根据路段特点进行精准化控制，实现了分段绿波控制。仿真试验结果表明，实施分段绿波后，主干道总体延误时间、停车次数、排队长度均有显著的优化效果。该方案能
七刀·2023-10-26 07:08
上一页 56 57 58 59 60 61 62 63 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他