transformer论文阅读第38页

Video anomaly detection with spatio-temporal dissociation 论文阅读

Videoanomalydetectionwithspatio-temporaldissociation摘要1.介绍2.相关工作3.Methods3.1.Overview3.2.Spatialautoencoder3.3.Motionautoencoder3.4.Varianceattentionmodule3.5.Clustering3.6.Thetrainingobjectivefunctio

何大春·2023-12-14 12:42

用于 ChatGPT 的 FPGA 加速大型语言模型

大型语言模型通常使用深度学习技术构建，特别是使用Transformer架构。Transformer是一种神经网络模型，擅长捕获序列中的长

FPGA技术联盟·2023-12-14 12:00

【起草】章节 1-1 介绍 ChatGPT 的基本概念和工作原理

ChatGPT（GenerativePre-trainedTransformer）是一种基于深度学习的语言模型，由OpenAI开发。

数字化转型2025·2023-12-14 12:44

模型微调技术

尤其是LoRA，它在Transformer架构的每一层中注入可训练的秩分解矩阵，从而大大减少了下游任务的可训练参数数量。而且，LoRA的表现与完全

LANWENBING·2023-12-06 21:13

chatgpt高效提示

它建立在Transformer架构上，可以处理大量数据并生成高质量的文本。然而，为

顾久~·2023-12-06 19:51

扩散模型学习（三）

TextEncoder）3.UNet4.调度器（Scheduler）5.采样循环三、其他管线1.Img2Img2.In-Painting3.Depth2Image一、StableDiffusion使用首先安装必要的库，transformers

李明朔·2023-12-06 18:51

剪枝综述论文阅读：Methods for Pruning Deep Neural Networks

文章目录一、概述1.分类2.评估二、Magnitudebasedpruning1.权重剪枝2.彩票定理3.特征图和过滤器剪枝（1）基于通道方差的剪枝InboundpruningReduceandReusepruning结论（2）基于熵的通道剪枝结论（3）APoZ:基于通道中0的数量进行通道微调（4）剪枝小的过滤器（5）基于几何中位数的过滤器剪枝（6）ThiNetandAOFP:识别较弱的通道Thi

李明朔·2023-12-06 18:21

2019_WWW_Dual graph attention networks for deep latent representation of multifaceted social effect

[论文阅读笔记]2019_WWW_Dualgraphattentionnetworksfordeeplatentrepresentationofmultifacetedsocialeffectsinrecommendersystems

XingHe_XingHe_·2023-12-06 18:21

【论文阅读】GRAPH ATTENTION NETWORKS

GRAPHATTENTIONNETWORKS（图注意力网络）摘要1引言2GAT结构2.1图注意力层（GRAPHATTENTIONALLAYER）2.1.1输入输出2.1.2特征提取与注意力机制2.1.3多端注意力机制（multi-headattention）2.2与相关工作的比较3模型评价3.1数据集3.2最先进的方法3.3实验设置3.4结果4结论摘要本文提出了一种新的基于图结构数据的神经网络结构

Cziun·2023-12-06 18:50

论文阅读和分析： “How Attentive are Graph Attention Networks?”

数据集1、脑电项目探索和实现(EEG)(上)：研究数据集选取和介绍SEED相关论文阅读分析：1、EEG-SEED数据集作者的—基线论文阅读和分析2、图神经网络EEG论文阅读和分析：《EEG-BasedEmotionRecognitionUsingRegularizedGraphNeuralNetworks

KPer_Yang·2023-12-06 18:19

第30期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2023-12-06 15:50

动能资讯 | 智慧汽车—城市NOA迎爆发

在特斯拉引领的Transformer+Bev架构驱动下，智驾算法趋近于端到端的智驾大模型，使得智能驾驶开始步入城市NOA新时代。消费者认知增强，未来市场空间广阔。

weng13924672287·2023-12-06 09:34

论文阅读：一种通过降低噪声和增强判别信息实现细粒度分类的视觉转换器

论文标题：Avisiontransformerforfine-grainedclassificationbyreducingnoiseandenhancingdiscriminativeinformation

小源0·2023-12-06 06:57

Learning Memory-guided Normality for Anomaly Detection 论文阅读

LearningMemory-guidedNormalityforAnomalyDetection摘要1.介绍2.相关工作3.方法3.1网络架构3.1.1Encoderanddecoder3.1.2Memory3.2.Trainingloss3.3.Abnormalityscore4.实验5.总结总结&代码复现：文章信息：发表于：cvpr2020原文：https://arxiv.org/abs/2

何大春·2023-12-06 06:56

《论文阅读》使用条件变分自动编码器学习神经对话模型的语篇水平多样性 2017 ACL

《论文阅读》使用条件变分自动编码器学习神经对话模型的语篇水平多样性2017ACL前言简介相关知识StochasticGradientVariationalBayesMultivariateGaussianDistributionIsotropicGaussianDistributionReparameterizationTrickpriornetwork

365JHWZGo·2023-12-06 06:53

论文阅读-Null-text Inversion for Editing Real Images using Guided Diffusion Models

一、论文信息作者团队：论文链接：https://arxiv.org/pdf/2211.09794.pdf代码链接：https://github.com/google/prompt-to-prompt二、ConditionalDiffusion（classifier-freeguidance)Classifier-freeguidance方法训练：对于有条件的训练集（如图文对数据集），以某个概率p将

完美屁桃·2023-12-06 06:52

【论文笔记】SCRIPT：Source Code Summarization with Structural Relative Position Guided Transformer

SCRIPT1Introduction2ProposedApproachA.RelativeDistanceWeightedTransformerB.StructuralRPE-InducedTransformerSelf-AttentionSequentialRelativePositionalEncodingASTRelativePositionalEncodingStructuralRPE

Luo_LA·2023-12-06 06:15

AGI = 大模型 + 知识图谱 + 强化学习

例如，GPT-3（GenerativePre-trainedTransformer3）是一个大型的自然语言处理模型，拥有数十亿的参数。

summer_west_fish·2023-12-06 06:13

【论文笔记】A Transformer-based Approach for Source Code Summarization

ATransformer-basedApproachforSourceCodeSummarization1.Introduction2.Approach2.1ArchitectureSelf-AttentionCopyAttention2.2PositionRepresentations

Luo_LA·2023-12-06 06:40

RNN、Seq2Seq、Transformers：NLP 中常用的神经架构简介

循环神经网络是一类神经架构，具有很酷的特性——循环机制——这使得它们成为处理可变长度的顺序数据的自然选择。与标准神经网络不同，RNN可以在接受新输入的同时保留前一层的信息。这是它的工作原理假设我们正在构建一个电子商务聊天机器人，由一个处理文本的RNN和一个预测其背后意图的前馈网络组成。机器人收到这条消息：“嗨！你们这件衬衫有不同颜色吗？”我们有11个单词（11个单词嵌入）作为输入，并且序列被切成标

wouderw·2023-12-06 05:27

【Transformer论文精读系列】（一）如何理解Transformer里的注意力机制？

论文：AttentionIsAllYouNeed参考李沐老师的讲解视频：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili其他参考：超强动画，一步一步深入浅出解释Transformer

HiLittleBoat·2023-12-06 03:46

抑制过拟合——从梯度的角度看LayerNorm的作用

抑制过拟合——从梯度的角度看LayerNorm的作用Normalization的目的LayerNorm&BatchNorm可视化分析LayerNorm分析loss分析梯度在深入探索transformer

征途黯然.·2023-12-06 03:39

结合 DBSCAN 示例代码介绍 DBSCAN

前文为JoyT的科研之旅第一周——科研工具学习及论文阅读收获-CSDN博客DBSCAN介绍DBSCAN（Density-BasedSpatialClusteringofApplicationswithNoise

Joy T·2023-12-06 01:08

Talk | 华为谢恩泽: PixArt-α, 基于Transformer的高质量文本到图像生成扩散模型的快速训练

他与大家分享的主题是:“PixArt-Alpha,基于Transformer的高质量文本到图像生成的扩散模型的快速训练”，介绍了他们团队在基于Transformer的T2I扩散模型PIXART-α的一系列研究成果

TechBeat人工智能社区·2023-12-06 00:43

【读点论文】A survey of the Vision Transformers and its CNN-Transformer based Variants近年来这个方向的文献阅读记录

AsurveyoftheVisionTransformersanditsCNN-TransformerbasedVariantsAbstract视觉Transformer作为卷积神经网络(cnn)的可能替代品

羞儿·2023-12-05 23:02

AI：大语言模型训练方法 - 机器学习

TransformerTransformer是一种深度学习的模型架构，特别适用于自然语言处理任务。

AnyaPapa·2023-12-05 21:25

下载Huggingface Transformer 在苹果M1芯片上（保姆教程，我可以，你也可以）

文章的reference:https://developer.apple.com/metal/tensorflow-plugin/https://www.youtube.com/watch?v=17gDhXU55oU和https://medium.com/@faizififita1/huggingface-installation-on-apple-silicon-2022-m1-pro-max-

小张儿zandau·2023-12-05 19:39

Vision Transformer原理分析

VisionTransformer原理分析VisionTransformer是2021年Google团队提出的将Transformer应用在图像分类的模型，因为其模型简单、效果好、可扩展性强，成为CV领域的里程碑著作

X_Student737·2023-12-05 17:31

transformer没有BN层

传统的Transformer模型中通常不包含BatchNormalization（BN）层。Transformer模型的核心是自注意力机制，由注意力头组成，而不依赖于卷积或全连接层。

不当菜鸡的程序媛·2023-12-05 17:18

transformers tokenizer.encode_plus() 的padding=True踩的坑

转载：transformerstokenizer.encode_pl

不当菜鸡的程序媛·2023-12-05 17:18

ViT

【arxiv2020.10,ICLR2021】ViTAnImageisWorth16x16Words:TransformersforImageRecognitionatScale目录abstractintroViT

Mr.Light·2023-12-05 15:26

Vision Transformer（VIT）原理总结

VIT，文章题名为AnImageisWorth16x16Words:TransformersforImageRecognitionatScale，发表于2020年10月。

白三点·2023-12-05 15:26

SwinTransformer与Vit细节总结

建议通过标题来快速跳转Vit(VisionTransformer)Vit把图片打成了patch，然后过标准的TransformerEncoder，最后用CLStoken来做分类Vit的位置编码作者在文中试了几种方式

taoqick·2023-12-05 15:56

Transformer总结——VIT

1：在attentionisallyouneed文章中，作者提出了多头注意力。注意力公式：dk是K的维度。多头公式：VIT将多头注意力应用到了图像领域，所以具体看一下VIT关于多头注意力的代码实现。classPatchEmbed(nn.Module):def__init__(self,img_size=224,patch_size=16,in_c=3,embed_dim=768,norm_laye

翰墨大人·2023-12-05 15:25

VIT论文介绍

论文链接：戳我Transformer结构原本应用于自然语言处理，本篇希望找到可以在不用CNN情况下使用纯Transformer构架在图像分类任务上使用少量运算资源来训练达到更好的结果。

赵卓不凡·2023-12-05 15:25

VIT总结

关于transformer、VIT和SwinT的总结1.transformer1.1.注意力机制Anattentionfunctioncanbedescribedasmappingaqueryandasetofkey-valuepairstoanoutput

一轮秋月·2023-12-05 15:22

pytorch bert实现文本分类

huggingface上自行挑选1.导入必要的库importosimporttorchfromtorch.utils.dataimportDataLoader,TensorDataset,random_splitfromtransformersimportBertTokenizer

骑单车的王小二·2023-12-05 14:13

YOLOv8-Seg改进：简单高效的模块-现代反向残差移动模块 (iRMB) | | ICCV2023 EMO

本文改进：设计了一种面向移动端应用的简单而高效的现代反向残差移动模块(InvertedResidualMobileBlock,iRMB)，它吸收了类似CNN的效率来模拟短距离依赖和类似Transformer

会AI的学姐·2023-12-05 12:28

YOLOv8优化策略：简单高效的模块-现代反向残差移动模块 (iRMB) | | ICCV2023 EMO

本文改进：设计了一种面向移动端应用的简单而高效的现代反向残差移动模块(InvertedResidualMobileBlock,iRMB)，它吸收了类似CNN的效率来模拟短距离依赖和类似Transformer

会AI的学姐·2023-12-05 12:27

SimCSE论文阅读

正负样本对构建原理正样本pair：onesentencetwodifferentembeddingsas“positivepairs”.(通过dropout作为噪声)负样本pair：Thenwetakeothersentencesinthesamemini-batchas“negatives”任务：themodelpredictsthepositiveoneamongthenegatives无监督

银晗·2023-12-05 10:20

LLM部署-Fastllm

fastllm使用#这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained

银晗·2023-12-05 10:19

InterLM代码解析

interLM的Transformer架构，重要模块的实现解析Decoder架构classInternLMDecoderLayer(nn.Module):def__init__(self,config:

银晗·2023-12-05 10:16

语音识别从入门到精通——1-基本原理解释

1.1.1自动语音识别1.1.2应用1.2语音识别流程1.2.1预处理1.2.2语音检测和断句1.2.3音频场景分析1.2.4识别引擎(**语音识别的模型**)1.传统语音识别模型2.端到端的语音识别模型基于Transformer

小陈phd·2023-12-05 09:18

论文阅读[2022sigcomm]GSO-Simulcast Global Stream Orchestration in Simulcast Video

GSO-SimulcastGlobalStreamOrchestrationinSimulcastVideo作者：1背景1视频会议成为全球数十亿人远程协作、学习和个人互动的核心，这些不断增长的虚拟连接需求推动视频会议服务的蓬勃发展2当前用户越来越希望在低延迟下看到更高质量的视频，对大型会议的需求越来越多，同时希望服务要容易获得3视频停顿、声音停顿和视频模糊成为当前视频会议服务的前三大问题2挑战1在

woshicaiji12138·2023-12-05 08:03

“打败魔法的永远是魔法”——人类应该如何和ChatGPT相处

GPT是生成式预训练模型，主要基于Transformer，目前的最新版本GPT4.0是多模态大模型的主要代表。

清图·2023-12-05 05:58

RGCN，GCN，GRAPHSAGE论文阅读实践

图神经网络在本文中，我们将图神经网络划分为五大类别，分别是:图卷积网络(GraphConvolutionNetworks,GCN)、图注意力网络(GraphAttentionNetworks)、图自编码器(GraphAutoencoders)、图生成网络(GraphGenerativeNetworks)和图时空网络(GraphSpatial-temporalNetworks)3.图自动编码器(Gr

乘风破浪的猫·2023-12-05 04:17

Learning Normal Dynamics in Videos with Meta Prototype Network 论文阅读

文章信息：发表在cvpr2021原文链接：LearningNormalDynamicsinVideoswithMetaPrototypeNetwork摘要1.介绍2.相关工作3.方法3.1.DynamicPrototypeUnit3.2.视频异常检测的目标函数3.3.少样本视频异常检测中的元学习4.实验5.总结代码复现：摘要在视频异常检测领域，基于自动编码器（Auto-Encoder，AE）的帧重

何大春·2023-12-05 01:28

【深度学习】Transformer简介

近年来，Transformer模型在自然语言处理（NLP）领域中横扫千军，以BERT、GPT为代表的模型屡屡屠榜，目前已经成为了该领域的标准模型。

TwcatL_tree·2023-12-05 00:19

ClipCap【用到Prefix Tuning】

方法ClipCap使用CLIP的imageencoder（冻结）将图片转换为embedding；将embedding和学习得到的常量输入到mappingnetwork（轻量，基于transformer）

电车上那个cll呀·2023-12-04 23:12

论文阅读“Dissimilarity Mixture Autoencoder for Deep Clustering”

LaraJS,GonzálezFA.DissimilarityMixtureAutoencoderforDeepClustering[J].arXivpreprintarXiv:2006.08177,2020.摘要翻译差异混合自编码(DMAE)是一种基于特征聚类的神经网络模型，它融合了灵活的dissimilarityfunction，可以集成到任何一种深度学习体系结构中。它在内部表示了一个差异混合

掉了西红柿皮_Kee·2023-12-04 22:01

推荐频道

transformer论文阅读