transformer论文阅读第113页

[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.

论文:论文地址代码:代码地址作者在这篇文章中直接用GNN对目标的轨迹时空特征进行建模,并用时序CNN进行预测,代替了训练难度较大和速度较慢的RNN类方法.0.Abstract行人轨迹预测是一个比较有挑战性的任务,有着许多的应用.一个行人的轨迹不仅是由自己决定的,而且受其周围目标的影响.过去的方法都是学习每个行人自己的运动状态,然而本文的方法是用一个GNN对整个场景的行人之间的interaction

wjpwjpwjp0831·2023-07-25 15:46

【论文阅读】DEPIMPACT：反向传播系统依赖对攻击调查的影响（USENIX-2022）

FangP,GaoP,LiuC,etal.Back-PropagatingSystemDependencyImpactforAttackInvestigation[C]//31stUSENIXSecuritySymposium(USENIXSecurity22).2022:2461-2478.攻击调查、关键边、入口点开源：GitHub-usenixsub/DepImpact目录1.摘要2.引言3.

C00per_·2023-07-25 15:45

论文阅读--带有提示的无训练目标计数

Title:Training-freeObjectCountingwithPromptsAbstract:Thispapertacklestheproblemofobjectcountinginimages.Existingapproachesrelyonextensivetrainingdatawithpointannotationsforeachobject,makingdatacollect

追忆苔上雪·2023-07-25 15:44

论文阅读--Segment Anything

Title:SegmentAnythingAbstract:WeintroducetheSegmentAnything(SA)project:anewtask,model,anddatasetforimagesegmentation.Usingourefficientmodelinadatacollectionloop,webuiltthelargestsegmentationdatasettod

追忆苔上雪·2023-07-25 15:14

可解释的 AI：在transformer中可视化注意力

VisualizingAttentioninTransformers|GenerativeAI(medium.com)一、说明在本文中，我们将探讨可视化变压器架构核心区别特征的最流行的工具之一：注意力机制

无水先生·2023-07-25 15:43

GPT-4 模型详细教程

GPT-4（GenerativePretrainedTransformer4）是OpenAI的最新语言生成模型，其在各类文本生成任务中表现优秀，深受开发者和研究者喜爱。

盘古开天1666·2023-07-25 13:04

ChatGPT：GPT前世今生

一、第一代GPT（奠定语言模型基础）2018年,OpenAI研究员AlecRadford提出了GPT(GenerativePre-trainedTransformer)模型。

uianster·2023-07-25 12:05

Transformer 模型实用介绍：BERT

在NLP中，Transformer模型架构是一场革命，极大地增强了理解和生成文本信息的能力。

冷冻工厂·2023-07-25 12:59

X - Transformer

回顾Transformer的发展Transformer最初是作为机器翻译的序列到序列模型提出的，而后来的研究表明，基于Transformer的预训练模型（PTM）在各项任务中都有最优的表现。

银晗·2023-07-25 12:50

注意力机制QKV的作用简单易懂

后来在b站上看到一个讲解transformer的视频，里边给了一个特别简单易懂的解释，就把它粘过来分享一下，具体如下：假设有一个问题：给出一段文本，使用一些关键词对它进行描述！

sunshine2304·2023-07-25 09:21

使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

本篇文章聊聊如何使用HuggingFace的Transformers来量化MetaAI出品的LLaMA2大模型，让模型能够只使用5GB左右显存就能够运行。

soulteary·2023-07-25 08:59

【论文阅读】DQnet: Cross-Model Detail Querying for Camouflaged Object Detection

Cross-ModelDetailQueryingforCamouflagedObjectDetectionDQnet：伪装目标检测中的跨模型细节查询论文地址：https://arxiv.org/abs/2212.08296这篇文章提出了一个交叉模型框架（CNN-Transformer

1900_·2023-07-25 05:08

PyTorch使用Transformer进行机器翻译

文章目录简介数据集环境要求实验代码实验结果参考来源简介本文使用PyTorch自带的transformer层进行机器翻译：从德语翻译为英语。

阿正的梦工坊·2023-07-25 04:47

ReID专栏（三）注意力的应用

Transformer、目标

CV技术指南(公众号)·2023-07-25 03:58

机器学习：Transformer

Transformersequence-to-sequence(seq2seq)很大语音没有文本，7000种中超半数没有文字。

uncle_ll·2023-07-25 00:39

seq2seq、attention、self-attention、transformer、bert

seq2seqseq2seq：输入序列，输出序列，将输入的语言转为一个向量，最后输出再将向量转为语言shortcoming:Thefinalstateisincapableofrememberingalongsequence.即太长了记不住attention用attention可以改进seq2seq中的遗忘问题，大幅提高准确率，但是计算特别大attention会在encoder中的最后阶段s，计算

qq_48566899·2023-07-24 23:58

pytorch如何混合进度训练transformer【各种不同方式】

Trainer，notrainer，accelerator用huggingface的TrainerHuggingFace的Transformers库为我们提供了大量预训练的Transformer模型，以及一个易于使用的训练和微调工具

Hi_AI·2023-07-24 22:19

【大语言模型】5分钟快速认识ChatGPT、Whisper、Transformer、GAN

5分钟快速认识ChatGPT、Whisper、Transformer、GAN什么是ChatGPT?什么是Whisper?什么是GenerativePre-trainedTransformer架构？

镰刀韭菜·2023-07-24 22:26

为什么说大模型训练很难？

接着就是新一轮的竞争了，后面的事情就有点可怕了，Google推出万亿稀疏switchtransformer，huawei推出

woshicver·2023-07-24 21:42

【NLP】使用变压器（tranformer）和自动编码器

一、说明自然语言处理（NLP）中，trnsformer和编码器是至关重要的概念；本篇不是探讨原理，而是讲现实中，如何调用和使用transformer以及encoder，注意。

无水先生·2023-07-24 21:03

论文阅读:矩阵乘法GEMM的cache优化,子矩阵的切分方法Anatomy of High-Performance MatrixMultiplication

矩阵乘法优化的知名论文gotopaper：矩阵乘法的优化需要将矩阵切分成子矩阵，用子矩阵相乘的结果组合为原矩阵相乘的结果：上图是拆分矩阵的方法，M表示矩阵，X方向和Y方向的两个维度都是未知的。P表示横条或竖条，X方向或Y方向有一个方向的维度是极小的。B表示block块，X方向和Y方向的两个维度都是极小的。为了减小单个子矩阵计算量，要拆开A的整行和B的整列。不能让A的整行和B的整列作为子矩阵放入缓存

Vec[95]·2023-07-24 20:47

Progressive Dual-Branch Network for Low-Light Image Enhancement 论文阅读笔记

这是22年中科院2区期刊的一篇有监督暗图增强的论文网络结构如下图所示：ARM模块如下图所示：CAB模块如下图所示：LKA模块其实就是放进去了一些大卷积核：AFB模块如下图所示：这些网络结构没什么特别的，连来连去搞那么复杂没什么意思，最终预测的结果是两个支路的加和：损失函数是增强结果和GT的平滑L1损失和反图增强结果和GT反图的平滑L1损失的加权和：从实验结果看，色调是要好看一点，PSNR和SSIM

ssf-yasuo·2023-07-24 20:17

【论文阅读】StyleganV1 算法理解

文章目录为什么提出？具体是怎么做的？1.解耦的思想（对应文章第四章4.Disentanglementstudies）1.1感知路径长度（对应4.1Perceptualpathlength）1.2线性可分离性（对应4.2Linearseparability）2.具体网络的实现（对应2.Style-basedgenerator）3.基于样式生成器的属性（对应3.Propertiesofthestyle

远瞻。·2023-07-24 20:46

Network Dissection 论文阅读笔记

NetworkDissection论文阅读笔记1.简介2.网络刨析2.1深度视觉表征的可解释性的测量步骤2.2数据集2.3可解释神经元评分3.实验3.1对解释的人类评价3.2MeasurementofAxis-AlignedInterpretability3.3

喝过期的拉菲·2023-07-24 20:42

《论文阅读》FADO：情感支持对话的反馈感知的双向控制网络 Knowledge Based System 2023.2

《论文阅读》FADO：情感支持对话的反馈感知的双向控制网络前言简介问题定义模型框架图ContextEncoderDual-levelFeedbackStrategySelectorStrategySelectionDual-levelFeedbackDoubleControlReaderStrategyDictionaryResponseGenerator

365JHWZGo·2023-07-24 20:12

HideSeeker论文阅读

文章目录3.1OverviewofOurSystemHideSeeker3.2VisualInformationExtraction3.3RelationGraphLearning3.4HiddenObjectInference4EVALUATIONS4.7Summary6DISCUSSIONSANDCONCLUSION3.1OverviewofOurSystemHideSeeker我们设计了一种

WHS-_-2022·2023-07-24 20:40

【论文阅读】2020ECCV-DFDNet

BlindFaceRestorationviaDeepMulti-scaleComponentDictionaries中文：基于深度多尺度分量字典的盲人脸复原paper：code：https://github.com/csxmli2016/DFDNet摘要：近年来，基于参考的人脸恢复方法因其在真实低质量图像上恢复高频细节的能力而受到广泛关注。然而，这些方法中的大多数都需要具有相同身份的高质量参考图

远瞻。·2023-07-24 20:35

第52步深度学习图像识别：Transformer in Transformer建模（Pytorch）

基于WIN10的64位系统演示一、写在前面（1）TransformerinTransformerTransformerinTransformer（TNT）模型是一种新的图像分类模型，由研究者在2021年提出

Jet4505·2023-07-24 19:53

【模型压缩】 LPPN论文阅读笔记

LPPN论文阅读笔记LPPN:ALightweightNetworkforFastPhasePicking背景深度学习模型的问题在于计算复杂度较高，在实际数据处理中需要面临较高的处理代价，且需要专用的加速处理设备

MoonpieXia·2023-07-24 18:45

第53步深度学习图像识别：Bottleneck Transformer建模（Pytorch）

基于WIN10的64位系统演示一、写在前面（1）BottleneckTransformer"BottleneckTransformer"（简称"BotNet"）是一种深度学习模型，在2021年由Google

Jet4505·2023-07-24 18:44

NLP实战8：图解 Transformer笔记

目录1.Transformer宏观结构2.Transformer结构细节2.1输入2.2编码部分2.3解码部分2.4多头注意力机制2.5线性层和softmax2.6损失函数3.参考代码本文为[365天深度学习训练营

牛大了2023·2023-07-24 18:12

二十五章：TransUNet：Transformer为医学图像分割提供强大的编码器

Transformer是为序列到序列预测而设计的，具有固有的全局自注意机制，但由于缺乏低级细节，可能导致定位能力有限。在本文中，我们提出了Tr

Joney Feng·2023-07-24 18:39

transformer 笔记

目录目前在NLP领域当中，主要存在三种特征处理器——CNN、RNN以及Transformer，当前Transformer的流行程度已经大过CNN和RNN，它抛弃了传统CNN和RNN神经网络，整个网络结构完全由

Qinghuan1958·2023-07-24 18:38

MPT-7B：开源，商业可用，性能堪比LLaMA-7B的LLM新成员

于是现在MosaicML开发了MPT-7B模型，它是一个基于Transformer在1T文本/代码Token上训练出来的模型。该模型开源，与LLaMA-7B模型效果相匹配，而且可用于商业用途。

才能我浪费·2023-07-24 18:05

在自定义数据集上微调Alpaca和LLaMA

本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对AlpacaLoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers

deephub·2023-07-24 18:04

【论文阅读 04】Robot-assisted carotid artery stenting: outcomes, safety, and operational learning curve

总的来说就是机器人去做颈动脉支架手术的一个结果、安全性和操作性的评估NEUROSURGICALFOCUS神经外科聚焦《神经外科聚焦》机器人辅助颈动脉支架:结果、安全性和操作学习曲线在过去的二十年里，机器人越来越多地用于手术，以帮助克服人类的局限性并执行精确和准确的任务。然而，血管内机器人是在介入心脏病学中开创的，CorPathGRX最近被FDA批准用于外周血管和颅外干预。作者旨在评估机器人辅助颈动

不菜不菜·2023-07-24 16:31

【论文阅读 03】机器学习算法在颈动脉斑块影像学分类中的研究进展

读完之后就是，总结机器学习（SVM、小波）和深度学习（CNN）在颈动脉斑块影像学中的分类效果。只讨论了超声、磁共振两种成像ChinJClinNeurosci临床神经科学杂志复旦大学颈动脉斑块(carotidplaques)是一种由于颈动脉血管壁受损导致血液有形成分聚集而成的团块状结构，可由不同数量的脂质、出血和钙化组成，是颈动脉发生粥样硬化的明显特征［1］。关于颈动脉斑块的识别和成分判断，临床上主

不菜不菜·2023-07-24 16:18

论文阅读--利用深度学习对进行麦穗密度估计

Title:EardensityestimationfromhighresolutionRGBimageryusingdeeplearningtechniqueAbstract:Wheateardensityestimationisanappealingtraitforplantbreeders.Currentmanualcountingistediousandinefficient.Inthis

追忆苔上雪·2023-07-24 16:43

使用happytransformer对gpt-neo进行训练的过程记录

1、环境准备本文使用的是Python3.10.12的Docker环境在Python3.10环境中安装以下工具包：xformers、transformersv4.31.0、torch2.0.1+cu118

Dickence·2023-07-24 16:30

在英特尔 CPU 上微调 Stable Diffusion 模型

和transformer模型一样，你可以微调扩散模型以让它们生成更符合特定业务需求的

Hugging Face·2023-07-24 15:51

Encoder-Decoder、Seq2Seq、以及Transformer之间的关系

结论写在前面：Encoder-Decoder是一种架构，范围非常广泛，只要是用一个编码结构一个解码结构的模型都是Encoder-Decoder架构seq2seq和Encoder-Decoder基本相同，只不过后者是一种抽象概念，前者是具体的模型，seq2seq可以看做是一种结构，有很多这种结构的模型。seq2seq有多种类型，NVSN，Nvs1,1vsN,NvsM。最后一种应用最广。同时还有基于R

咖乐布小部·2023-07-24 15:20

ChatGPT 的发展历程和现状

ChatGPT作为基于Transformer架构的预训练模型，在自然语言处理领域取得了显著的成果。下面从ChatGPT的发展历程、现状和未来发展趋势三个方面进行详细阐述。

AI知识图谱大本营·2023-07-24 15:20

RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer

回顾并总结一下RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer的关系的差别1.RNN：之前的博客专门总结过，这里提一下它的缺点：梯度消失/爆炸；

鱼鱼9901·2023-07-24 14:47

论文阅读 - Decoupling Graph Neural Network with ContrastiveLearning for Fraud Detection

将图神经网络与对比学习解耦用于欺诈检测论文链接：https://linmengsysu.github.io/slides/main.pdf摘要：最近，许多欺诈检测模型引入了图神经网络（GNN）来提高模型性能。然而，欺诈者经常通过伪装自己的特征或关系来伪装自己。由于GNN的聚合性质，来自输入特征和图结构的信息将被压缩以同时进行表示学习。一方面，由于伪装，并非所有邻居都能提供有用的信息，因此聚合来自所

无脑敲代码，bug漫天飞·2023-07-24 14:59

Siren论文阅读笔记：Implicit Neural Representations with Periodic Activation Functions具有周期激活函数的隐式神经表示

ImplicitNeuralRepresentationswithPeriodicActivationFunctionsTitle:具有周期激活函数的隐式神经表示论文地址：论文地址arixvhttps://arxiv.org/pdf/2006.09661v1.pdf项目网址：项目地址https://paperswithcode.com/paper/implicit-neural-represent

出门吃三碗饭·2023-07-24 13:03

Tokenizer总结

Introducitontransformer类型的预训练模型层出不穷，其中的tokenizer方法作为一个非常重要的模块也出现了一些方法。本文对tokenizer方法做一些总结。

choose_c·2023-07-24 13:21

大语言模型

LLM通常基于Transformer架构构建，这类模型依赖于自注意力机制。Transformer能够高效利用计算资源，使得训练更大规模的语言模型成为可能。

sam5198·2023-07-23 21:58

[论文阅读]（SDD-FIQA基于人脸相似度分布距离的无监督质量评估方法））

文章目录摘要引言方法人脸样本类内-类间相似度分布为何与人脸图像质量高度相关？如何生成质量分数伪标签？质量回归网络参考链接摘要近年来，为了保证在无约束场景下识别性能的稳定性和可靠性，人脸图像质量评估(FIQA)已经成为人脸识别系统不可或缺的一部分。为此，FIQA方法需要同时考虑人脸图像的内在属性和可识别性。以往的研究大多以估计样本嵌入不确定性或两两相似度作为质量分数，而只考虑部分类内信息。但是，这些

今日计算机视觉·2023-07-23 21:57

[论文阅读]（SHAPING DATASETS: OPTIMAL DATA SELECTION FOR SPECIFIC TARGET DISTRIBUTIONS ACROSS DIMENSIONS）

文章目录摘要引言方法补充：分支界定法实验结果摘要提出了一种基于混合整数线性规划(MILP)的数据集操作方法。提出的优化可以将数据集缩小到特定的大小，同时在不同维度上强制执行特定的分布。它本质上利用了初始数据集的冗余，以生成更紧凑的版本，并在每个维度上具有特定的目标分布。如果期望的目标分布是均匀的，那么效果就是平衡的:所有不同维度的所有值都被平等地表示出来。根据问题的性质，还可以指定其他类型的目标分