transformer论文阅读第113页

2023/6/18周报

目录摘要论文阅读1、题目和现有问题2、工作流程3、图神经网络模块4、注意力网络5、实验结果和分析深度学习1、GNN和GRU的融合2、相关公式推导总结摘要本周在论文阅读上，对基于图神经网络和改进自注意网络的会话推荐的论文进行了学习

白小李·2023-06-19 00:47

[论文阅读]Attention U-Net: Learning Where to Look for the Pancreas

AttentionGateforImageAnalysis粗粒度的特征映射可以捕获上下文信息，突出显示前景对象的类别和位置UNet:在多个尺度上提取的特征图随后通过跳过连接进行合并，以结合粗和细级别的密集预测标准CNN通过不断堆叠卷积层和池化层，使得特征图捕获足够大的感受野和语义上下文信息，然而，仍然难以减少对于形状变化较大的小物体的假阳性预测，为了提高准确性，当前的分割框架依赖于额外的先前对象定

gefeng1209·2023-06-18 22:57

系列论文阅读——Policy Gradient Algorithms and so on(2)

发个库存，嘻嘻，这篇主要讲AC类算法演员-评论家算法（Actor-Critic）上文公式中我们采用的累计回报和()，虽然它是期望收益的无偏估计，但由于只使用了一个样本，存在方差非常大的问题，在这里我们用代替原来公式中的累计回报：若同时加入值函数作为baseline：此时，梯度函数可以转为：为优势函数，表明了在下，采取某个能比该策略下的平均期望收益优劣多少，这就是A2C和A3C的灵魂公式了。如果用采

想学会飞行的阿番·2023-06-18 21:25

『论文精读』Vision Transformer(VIT)论文解读

『论文精读』VisionTransformer(VIT)论文解读文章目录一.简介二.模型架构2.1.关于imagepresentation2.2.关于positionalencoding2.3.关于CNN

AI新视界·2023-06-18 21:41

GPT与GPT-2

GPT与GPT-2GPT-2与GPT一样，都使用的是单向语言模型一、GPTGPT的底层架构是transformer，是由pre-training和fine-tuning两部分构成的。

还卿一钵无情泪·2023-06-18 20:02

BERT,ELMO,GPT

1.BERTbert全称bidirectionalencoderrepresentationfromtransformer，是使用无监督方式利用大量无标注文本形成的语言模型，其架构为tranformer

Y·Not·Try·2023-06-18 20:32

初学者：了解GPT

GPT什么是语言模型自编码（auto-enconde）语言模型自回归（auto-regressive）语言模型基于Transformer的语言模型Transformer进化GPT2概述GPT2详解输入编码多层

battle不停息·2023-06-18 20:31

使用SwinTransformer进行图片分类

SwinTransformer是微软亚洲研究院在2021年提出的适用于CV领域的一种基于Tranformer的backbone结构。

算法美食屋·2023-06-18 19:47

使用BERT进行文本分类

本范例我们微调transformers中的BERT来处理文本情感分类任务。我们的数据集是美团外卖的用户评论数据集。模型目标是把评论分成好评(标签为1)和差评(标签为0)。#安装库#!

算法美食屋·2023-06-18 19:17

Transformer论文解读和Bert模型架构

Transformer论文解读和Bert模型架构Attentionisallyouneed论文AbstractIntroducntionBackgroundModelArchitecture3.1EncoderandDecoderStacks3.2Attention

机器herry_y·2023-06-18 18:04

使用Vision Transformers实现高效语义分割的内容感知共享Token

文章目录Content-awareTokenSharingforEfficientSemanticSegmentationwithVisionTransformers摘要本文方法Content-awaretokensharingframeworkContent-awaretokensharingpolicy

小杨小杨1·2023-06-18 15:47

论文阅读 Forecasting Human-Object Interaction: Joint Prediction of Motor Attention and Actions in First

ForecastingHuman-ObjectInteraction:JointPredictionofMotorAttentionandActionsinFirstPersonVideoECCV2020taskanticipatinghuman-objectinteractioninfirstpersonvideos阅读记录说明以上内容均为作者本人平时阅读并且汇报使用，内容整理全凭个人理解，如有

WXiujie123456·2023-06-18 14:55

论文阅读 Colar: Effective and Efficient Online Action Detection by Consulting Exemplars

Colar:EffectiveandEfficientOnlineActionDetectionbyConsultingExemplarsCVPR2022task在线动作识别阅读记录如表1所示，基于TSNActivityNet特性，Colar比OadTR带来了1.1%的mAP增益，如果基于TSNKinetics进行比较，则改进的mAP为1.7%。对当前最先进方法的持续改进验证了作者提出的范例参考机

WXiujie123456·2023-06-18 14:24

论文阅读 End-to-End Semi-Supervised Learning for Video Action Detection

End-to-EndSemi-SupervisedLearningforVideoActionDetectionCVPR2022task端到端的半监督视频动作检测方法阅读记录说明以上内容均为作者本人平时阅读并且汇报使用，内容整理全凭个人理解，如有侵权，请联系我；内容如有错误，欢迎留言交流。转载请注明出处，并附有原文链接，谢谢！此外，我还喜欢用ipad对论文写写画画（个人英文阅读的水平有限），做一些

WXiujie123456·2023-06-18 14:24

CVPR 2023 | 图像超分，结合扩散模型/GAN/部署优化，low-level任务，视觉AIGC系列

1、ActivatingMorePixelsinImageSuper-ResolutionTransformer基于Transformer的方法在低级别视觉任务中，如图像超分辨率，表现出了令人印象深刻的性能

机器学习与AI生成创作·2023-06-18 13:50

【论文阅读】Segment Anything（SAM）——可分割一切的CV大模型

【前言】随着ChatGPT席卷自然语言处理，Facebook凭借着SegmentAnything在CV圈也算扳回一城。迄今为止，github的star已经超过3万，火的可谓一塌糊涂。作为AI菜鸟，可不得自己爬到巨人肩膀上瞅一瞅~论文地址：https://arxiv.org/abs/2304.02643代码地址：GitHub-facebookresearch/segment-anything:The

小李AI飞刀^_^·2023-06-18 11:09

【论文阅读】Weighted Boxes Fusion（WBF）模型融合原理解读

论文地址：https://arxiv.org/pdf/1910.13302.pdf代码地址：GitHub-ZFTurbo/Weighted-Boxes-Fusion:Setofmethodstoensembleboxesfromdifferentobjectdetectionmodels,includingimplementationof"Weightedboxesfusion(WBF)"meth

小李AI飞刀^_^·2023-06-18 11:08

多模态之论文笔记ViLT

文章目录ViLT:Vision-and-LanguageTransformerWithoutConvolutionorRegionSupervision一.简介1.1摘要1.2文本编码器，图像编码器，特征交互复杂度分析

猴猴猪猪·2023-06-18 10:42

深度学习笔记之Transformer(二)关于注意力分数的总结

深度学习笔记之Transformer——关于注意力分数的总结引言回顾：Nadaraya-Watson\text{Nadaraya-Watson}Nadaraya-Watson核回归再回首：Seq2seq

静静的喝酒·2023-06-18 08:16

文献阅读（51）—— Transformer 用于中国空气质量检测

文献阅读（51）——Transformer用于中国空气质量检测文章目录文献阅读（51）——Transformer用于中国空气质量检测先验知识/知识拓展文章结构背景文章方法1.DartboardSpatialMSA

柚子味的羊·2023-06-18 08:35

【BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文略读】

BERT：Pre-trainingofDeepBidirectionalTransformers...论文略读INFORMATIONAbstract1Introduction2RelatedWork2.1UnsupervisedFeature-basedApproaches2.2UnsupervisedFine-tuningApproaches2.3TransferLearningfromSupe

小白*进阶ing·2023-06-18 07:14

惊爆GPT OpenAPI的调用以及API内的参数详解

在这个过程中，一个重要且可称为颠覆者的模型——GPT-3（第三代生成式预训练Transformer模型）的诞生，无疑大大加速了NLP领域的前进步伐。

TGITCIC·2023-06-18 06:47

【GPT LLM】跟着论文学习gpt

设计框架分为两块，pre-train和fine-tune，使用transformer模型

学渣渣渣渣渣·2023-06-18 06:58

简单使用GPT的方法有哪些？

GPT模型是一种基于Transformer结构的神经网络模型，它通过在大规模文本语料上进行自动预训练，学习到了非常丰富和深入的自然语言知识，可以生成质量较高、连贯性较强的文本

denzel1234·2023-06-18 04:08

论文阅读笔记：Total3DUnderstanding: Joint Layout, Object Pose and Mesh Reconstruction for Indoor Scenes...

Total3DUnderstanding:JointLayout,ObjectPoseandMeshReconstructionforIndoorScenesfromaSingleImage论文连接：https://arxiv.org/abs/2002.12212论文源码：https://github.com/yinyunie/Total3DUnderstanding论文英语视频：https://

种花家的德棍·2023-06-18 03:54

FasterTransformer 004 open_attention.h forward

initializeforward()https://github1s.com/NVIDIA/FasterTransformer/blob/v1.0/fastertransformer/cuda/open_attention.h

FakeOccupational·2023-06-18 02:41

AI算法创新赛-人车目标检测竞赛总结04

算能开发者社区·2023-06-18 01:24

NLP——ELMO；BERT；Transformers

BERTBERTV.S.ELMO两种预训练任务Object1:MaskedLanguageModelObject2:Nextsentenceprediction训练细节如何使用BERTBERT应用——垃圾邮件分类Transformerself-attentionMulti-headAttentionTransforme

暖仔会飞·2023-06-18 00:22

[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

1.基本信息题目论文作者与单位来源年份LoRA:Low-RankAdaptationofLargeLanguageModelsmicrosoftInternationalConferenceonLearningRepresentations2021524Citations论文链接：https://arxiv.org/pdf/2106.09685.pdf论文代码：https://github.com

happyprince·2023-06-17 20:24

MOCO V3 vit_small error: object has no attribute “num_tokens“

Irunintothefollowingbug:raiseAttributeError("'{}'objecthasnoattribute'{}'".format(AttributeError:'VisionTransformerMoCo'objecthasnoattribute'num_tokens'Af

Replete·2023-06-17 19:34

【论文阅读笔记】BaFFLe: Backdoor Detection via Feedback-based Federated Learning

个人阅读笔记，如有错误欢迎指出会议：2021IEEE41stInternationalConferenceonDistributedComputingSystems(ICDCS)BaFFLe:BackdoorDetectionviaFeedback-basedFederatedLearning|IEEEConferencePublication|IEEEXplore问题：识别、防御联邦学习中的后门

MiaZX·2023-06-17 19:50

【论文阅读笔记】CRFL: Certifiably Robust Federated Learning against Backdoor Attacks

个人阅读笔记，如有错误欢迎指出!会议：PMLR2021[2106.08283]CRFL:CertifiablyRobustFederatedLearningagainstBackdoorAttacks(arxiv.org)问题：现有的防御算法缺乏健壮性创新：证明了所提出框架得稳定性通过马尔可夫核分析聚合模型的训练过程，提出用于模型推理得参数平滑方法：攻击方：single-shot，同时攻击1、训练

MiaZX·2023-06-17 19:50

【论文阅读】Resisting Distributed Backdoor Attacks in Federated Learning: A Dynamic Norm Clipping Approach

个人阅读笔记，如有错误欢迎指出会议：2021IEEEInternationalConferenceonBigDataResistingDistributedBackdoorAttacksinFederatedLearning:ADynamicNormClippingApproach|IEEEConferencePublication|IEEEXplore问题：固定的范数裁剪防御对联邦学习来说仍然难

MiaZX·2023-06-17 19:19

【论文阅读笔记】Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

个人阅读笔记，如有错误欢迎指出！会议：Usenix2020[1911.11815]LocalModelPoisoningAttackstoByzantine-RobustFederatedLearning(arxiv.org)问题：模型攻击对拜占庭鲁棒性联邦学习的攻击效果尚未清楚创新点：1、基于不同防御方法，设计了具有针对性的模型攻击方式2、概括了基于错误率以及基于损失函数的防御方法，测试了两种防

MiaZX·2023-06-17 19:17

近期关于Transformer结构有潜力的改进方法总结

(GAU)2.1思路2.2实验结论2.3混合注意力3FlashAttention3.1标准Attention的实现3.2FlashAttention的实现针对目标1针对目标24总结5参考资料0引言标准Transformer

tyhj_sf·2023-06-17 18:58

论文阅读：Towards a Unified View of Parameter-Efficient Transfer Learning对参数高效迁移学习的统一看法

TowardsaUnifiedViewofParameter-EfficientTransferLearning对参数高效迁移学习的统一看法参数高效的微调在NLP中是较新的方法，早期的代表工作是2019年发表的adapter。2021年开始有越来越多的人关注这一方向并有不同的方法被提出，代表工作有prefixtuning,P-tuning,prompttuning,bitfit,LoRA等。本文中

若年封尘·2023-06-17 17:45

【论文阅读】Analyzing group-level emotion with global alignment kernel based approach

【论文阅读】Analyzinggroup-levelemotionwithglobalalignmentkernelbasedapproach摘要1.介绍与相关工作2.方法3.实验摘要本篇博客参考IEEE

小琳猫·2023-06-17 16:37

【论文阅读】An intelligent system for monitoring students‘ engagement in large classroom teaching through

【论文阅读】Anintelligentsystemformonitoringstudents'engagementinlargeclassroomteachingthroughfacialexpressionrecognition

小琳猫·2023-06-17 16:37

【论文阅读】Group Emotion Detection Based on Social Robot Perception

【论文阅读】GroupEmotionDetectionBasedonSocialRobotPerception摘要1.介绍2.相关工作3.方法4.数据集生成5.模拟与结果6.讨论摘要本篇博客参考MDPIsensors2022

小琳猫·2023-06-17 16:36

Kaggle实战Pytorch Forecasting =＞ TemporalFusionTransformer 保姆级0基础代码逐行解析

Kaggle实战PytorchForecasting=>TemporalFusionTransformer保姆级0基础代码逐行解析文章目录Kaggle实战PytorchForecasting=>TemporalFusionTransformer

程序媛小哨·2023-06-17 15:17

【MMDetection】ERROR:The testing results of the whole dataset is empty

问题描述使用MMdetection复现论文swinTransformer，显示错误：ERROR:Thetestingresultsofthewholedatasetisempty与此同时，各项评价指标如

there2belief·2023-06-17 14:07

baichuan-7B: 开源可商用支持中英文的最好大模型

基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。

·2023-06-17 14:14

利用TRansformer进行端到端的目标检测及跟踪（附源代码）

作者：计算机视觉研究院编辑：3D视觉开发者社区导读现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。简要多目标跟踪(MOT)任务的关键挑战是跟踪目标下的时间建模。现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟

奥比中光3D视觉开发者社区·2023-06-17 14:12

社招准备和面试题

重点掌握了自己认为比较重要的深度学习模型，transformer，bert，这些都是必须要掌握的，包括每个模型里面涉及的细节，比如transforme

futurewq·2023-06-17 13:58

OpenMMLab AI 实战营笔记4——MMPreTrain算法库：构建高效、灵活、可扩展的深度学习模型

文章目录摘要一、工具箱介绍二、丰富的模型三、推理API四、环境搭建——OpenMMLab软件栈五、OpenMMLab重要概念——配置文件六、代码框架七、配置及运作方式经典主干网络残差网络VisonTransformer

AI浩·2023-06-17 12:23

论文阅读 (90)：Proposal-based Multiple Instance Learning (P-MIL, 2023CVPR)

文章目录1要点1.1概述1.2一些概念1.3主要步骤2方法2.1候选提案生成2.2提案特征提取和分类2.2.1周围对比特征提取2.2.2分类头2.3提案微调2.3.1提案完备性评估2.3.2实例级秩一致性2.4网络训练和推理2.4.1网络训练2.4.2推理3实验3.1数据集即评估标准3.1.1数据集：3.1.2评估标准3.2实现细节3.2.1网络架构3.2.2超参数设置1要点1.1概述名称：提案多

因吉·2023-06-17 11:26

Transformer与注意力机制

Transformer与注意力机制1.RNN基础循环神经网络（RNN）是专门用来处理自然语言、金融信息等时序数据的一种神经网络。它的结构和运作方式如下图所示，基于马尔可夫决策模型。

zkccpro·2023-06-17 11:13

Deep Retinex Decomposition for Low-Light Enhancement 论文阅读笔记

C.Wei,W.Wang,W.Yang,andJ.Liu,“Deepretinexdecompositionforlow-lightenhancement,”inBMVC,2018.总的来说，就是提出利用一个分解网络首先将输入的图片分解为照度分量和反射分量，然后用一个增强网络调节照度分量，并用去噪算法对反射分量进行去噪。将去噪后的反射分量和增强后的照度分量相乘得到增强结果。同时提出了一个数据集.这

sysu_first_yasuo·2023-06-17 09:35

EnlightenGAN: Deep Light Enhancement without Paired Supervision--论文阅读笔记

Introduction一种高效无监督的生成对抗网络，称为EnlightenGAN，可以在没有低/正常光图像对的情况下进行训练Difficulties1)同步捕获损坏和地面实况图像相同的视觉场景是非常困难甚至不切实际的(例如,光线和普通光照图像对在同一时间)2)从干净的图像中合成损坏的图像有时会有帮助，但这种合成的结果通常不够逼真，当训练后的模型应用于真实的低光图像时，会产生各种伪影3)特别对于低

zeronose·2023-06-17 09:35

WIDESEE论文阅读报告

WIDESEE：面向广域非接触式的无线感知摘要广域非接触式无线感知技术，进展迅速，限制问题是感知范围小。解决方案：WIDESEE，仅利用一对收发机实现广域感知。软件上，采用Lora通信协议，硬件上，以无人机作为传感器宿主。广域非接触式的无线感知，两个挑战：1、设备移动性和Lora的高度敏感性的干扰；2、模糊的目标信息，如仅使用一对收发器时的目标信息。开发实验：用于人体目标检测和定位的WIDESEE

qq_42194332·2023-06-17 09:04

推荐频道

transformer论文阅读