transformer论文阅读第11页

vit细粒度图像分类（七）TBNet学习笔记

在这项工作中，我们提出了一种新的基于机器人视觉跟踪的鸟类监视方法，该方法采用了一种名为TBNet的亲和关系感知模型，该模型结合了CNN和Transformer架构，并具有新颖的特征选择(FS)模块。

无妄无望·2024-02-02 10:18

Transformer 模型详解

Transformer模型https://blog.csdn.net/m0_67084346/article/details/128138486https://blog.csdn.net/benzhujie1245com

Maann·2024-02-02 09:41

【论文阅读笔记】Make-A-Character: High Quality Text-to-3D Character Generation within Minutes

【论文阅读笔记】分钟级别的高质量文本到3D角色生成AbstractIntroductionMethodLL/VM解析人脸面部属性并生成根据密集地标重建face/head形状几何生成纹理生成纹理提取漫反射反照率

LuH1124·2024-02-02 07:05

【论文阅读笔记】Würstchen: AN EFFICIENT ARCHITECTURE FOR LARGE-SCALETEXT-TO-IMAGE DIFFUSION MODELS

WURSTCHEN：用于大规模文本到图像扩散模型的高效架构摘要贡献方法训练推理实验结论附录附录A附录B附录C附录D附录E这篇文章提出了一个高效的用于文本到图像生成模型架构，整体思路比较直白，在不损失图像生成质量的情况下，相比于现有T2I模型（SD1.4，SD2.1等）大大节约了成本。附录部分给了一些有趣的东西，比如FID的鲁棒性整篇文章还有点疑惑，比如阶段B的训练，使用的模型；节省成本主要是在说C

LuH1124·2024-02-02 07:34

【论文阅读笔记】Advances in 3D Generation: A Survey

Advancesin3DGeneration:ASurvey挖个坑，近期填完摘要time：2024年1月31日paper：arxiv机构：腾讯挖个坑，近期填完摘要生成3D模型位于计算机图形学的核心，一直是几十年研究的重点。随着高级神经表示和生成模型的出现，3D内容生成领域发展迅速，能够创建越来越高质量和多样化的3D模型。该领域的快速增长使得很难跟上所有最近的发展。在本次调查中，我们旨在介绍3D生成

LuH1124·2024-02-02 07:56

【动手学大模型】第一章大模型简介

随着Transformer架构的神经网络模型引入，通过大量的文本数据训练，模型可以深入理解语言规则和模式。同时研究人员发现，随着语言模型规模的扩大，比如增加模型大小和使用更多的训练数据，模型展现出

Farah_Y·2024-02-02 07:44

论文阅读-一个用于云计算中自我优化的通用工作负载预测框架，

论文标题：ASelf-OptimizedGenericWorkloadPredictionFrameworkforCloudComputing概述准确地预测未来的工作负载，如作业到达率和用户请求率，对于云计算中的资源管理和弹性非常关键。然而，设计一个通用的工作负载预测器，并使其适用于各种类型的工作负载，具有很大的挑战性，因为工作负载的种类繁多且随着时间动态变化。由于这些挑战，现有的工作负载预测器通

向来痴_·2024-02-02 07:08

webassembly003 MINISIT mnist/convert-h5-to-ggml.py

数据结构#ConvertMNISh5transformermodeltoggmlformat##Loadthe(state_dict)savedmodelusingPyTorch#Iterateoverallvariablesandwritethemtoabinaryfile

FakeOccupational·2024-02-02 06:38

WeakTr代码精细解析

classWeakTr(VisionTransformer):def__init__(self,depth=12,num_heads=6,reduction=4,pool="avg",embed_dim

Env1sage·2024-02-02 06:31

中科院一区顶刊 | DilateFormer: 即插即用的多尺度全局注意力机制(附源码实现)

导读论文：《DilateFormer:Multi-ScaleDilatedTransformerforVisualRecognition》本文提出了一种新颖的多尺度空洞Transformer，简称DilateFormer

CVHub·2024-02-02 06:23

【论文阅读】《Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation》

Text-to-SQLEmpoweredbyLargeLanguageModels:ABenchmarkEvaluation大语言模型助力Text-to-SQL：一项基准评估DaweiGao∗[email protected]∗[email protected]

道边苦李，励志笃行·2024-02-02 04:46

Transformer 自然语言处理（四）

原文：NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第十章：从头开始训练变换器在本书的开头段落中，我们提到了一个名为GitHubCopilot

绝不原创的飞龙·2024-02-02 04:32

SCI论文写作训练营笔记汇总02_英文科技论文阅读与解析

SCI论文写作训练营笔记汇总02_英文科技论文阅读与解析持续创作，加速成长！

Dashesand·2024-02-02 02:18

14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等

在深度学习技术的飞速发展中，Transformer模型无疑成为了当今研究的热点，它凭借其独特的架构和强大的表达能力，在自然语言处理、计算机视觉和语音识别等领域取得了令人瞩目的成果。

AI热心分享家·2024-02-02 02:37

Seq2SeqTrainer与Trainer的区别

`Seq2SeqTrainer`和`Trainer`是HuggingFaceTransformers库中用于训练模型的两个类。它们之间的主要区别在于它们针对的任务类型和模型架构的不同。

andeyeluguo·2024-02-02 02:29

1.6万字全面掌握 BERT：自然语言处理（NLP）从初学到高级的全面指南

BERT（双向编码器表示来自Transformer的模型）是由Google开发的一种革命性的自然语言处理（NLP）模型。它改变了语言理解任务的格局，使机器能够理解语言中的上下文和细微差异。

深度学习算法与自然语言处理·2024-02-02 01:01

面试了字节大模型算法岗(实习)，快被问哭了。。。。

2.技术问题回答2.1介绍一下transformer？传统的seq2seq模型使用循环神经网络（RN

深度学习算法与自然语言处理·2024-02-02 01:59

对话生成技术:序列到序列模型和Transformer架构

在本文中，我们将讨论序列到序列模型和Transformer架构在对话生成领域的应用。1.背景介绍对话生成技术的目标是生成自然、连贯且有意义的对话回应。

OpenChat·2024-02-02 00:18

【计算机视觉 | 目标检测】DETR风格的目标检测框架解读

文章目录一、前言二、理解2.1DETR的理解2.2DETR的细致理解2.2.1Backbone2.2.2Transformerencoder2.2.3Transformerdecoder2.2.4Predictionfeed-forwardnetworks

旅途中的宽~·2024-02-01 21:14

【目标检测】对DETR的简单理解

Method3.1模型结构3.2Loss4.Exp5.Discussion5.1二分匹配5.2注意力机制5.3方法存在的问题6.Conclusion参考1.Abs两句话概括：第一个真正意义上的端到端检测器最早将transformer

insight^tkk·2024-02-01 21:10

自然语言大模型介绍

2Transformer目前的大模型基本都是Transformer及其变种。本部分将介绍Transformer基础模型及其主要变种。

xieyan0811·2024-02-01 18:42

DeiT

Facebook提出Data-efficientimageTransformers（DeiT），需要更少的数据和更少的计算资源就能生成高性能的图像分类模型。

Valar_Morghulis·2024-02-01 17:38

论文阅读《SGNet: Structure Guided Network via Gradient-Frequency Awareness for Depth Map Super-Resolutio》

论文地址：https://arxiv.org/pdf/2312.05799v1.pdf源码地址：https://github.com/yanzq95/SGNet概述深度图的图像引导超分辨率在各个领域有着广泛的应用。但是，复杂的成像环境会导致深度图的结构边缘变得模糊。如图2所示，从梯度图可以看出，它能够很好地表现出图像的结构信息。从频谱图可以看出，高分辨率的深度图和RGB图像都包含了丰富的高频和

CV科研随想录·2024-02-01 17:54

（Re-ID论文精读2）CVPR2023: Patch-wise High-frequency Augmentation for Transformer-basedPerson Re-id

/openaccess.thecvf.com/content/CVPR2023/papers/Zhang_PHA_Patch-Wise_High-Frequency_Augmentation_for_Transformer-B

达柳斯·绍达华·宁·2024-02-01 17:20

场景图生成（scene graph generation），github/yrcong/RelTR 代码运行

这周为了跑通yrcong/RelTR:RelTR:RelationTransformerforSceneGraphGeneration(github.com)配置环境花了好长时间，这里记录一下。

tt1724369779·2024-02-01 15:45

A Generalized Unbiased Risk Estimator for Learning withAugmented Classes论文阅读

论文arxiv.org/pdf/2306.06894.pdfhttps://arxiv.org/pdf/2306.06894.pdf代码（使用的是华为mindspore框架）Shuijing2018/GLAC_Mindspore(github.com)https://github.com/Shuijing2018/GLAC_Mindspore最近的一项研究表明，通过利用未标记数据，可以在类别转移条

Mr___WQ·2024-02-01 15:42

Transformer 自然语言处理（三）

原文：NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第八章：使transformers在生产中更高效在之前的章节中，您已经看到了

绝不原创的飞龙·2024-02-01 12:59

Transformer 自然语言处理（一）

原文：NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0前言当你阅读这些文字时，一个奇迹正在发生：这页上的涂鸦正在在你的大脑皮层中转化为单词

绝不原创的飞龙·2024-02-01 12:28

【论文阅读笔记】Transformer-XL

Paper:Transformer-XL:AttentiveLanguageModelsBeyondaFixed-LengthContext重点关注论文中的相对位置编码及提高融合了相对位置信息的attentionscore

没啥信心·2024-02-01 12:16

论文阅读“A probabilistic framework for multi-view feature learning with many-to-many associations via...

OkunoA,HadaT,ShimodairaH.Aprobabilisticframeworkformulti-viewfeaturelearningwithmany-to-manyassociationsvianeuralnetworks[C]//InternationalConferenceonMachineLearning.PMLR,2018:3888-3897.预备知识这部分主要是为了介

掉了西红柿皮_Kee·2024-02-01 11:54

transformer_位置编码代码笔记

transformer_位置编码代码笔记transformer输入的序列中，不同位置的相同词汇可能会表达不同的含义，通过考虑位置信息的不同来区分序列中不同位置的相同词汇。

等风来随风飘·2024-02-01 08:03

transformer_多头注意力机制代码笔记

transformer_多头注意力机制代码笔记以GPT-2中多头注意力机制代码为例classCausalSelfAttention(nn.Module):"""因果掩码+多头自注意力机制Avanillamulti-headmaskedself-attentionlayerwithaprojectionattheend.Itispossibletousetorch.nn.MultiheadAtten

等风来随风飘·2024-02-01 08:29

开发与AI的邂逅

产品功能3.3.配置流程3.4.适用范围3.5.收费标准3.6.注意事项一、前言前段时间，由OpenAI公司研发的一款聊天机器人程序ChatGPT（全名：ChatGenerativePre-trainedTransformer

棒棒糖的糖不含糖·2024-02-01 08:55

论文阅读：A visualized human-computer interactive approach to job shop scheduling

Avisualizedhuman-computerinteractiveapproachtojobshopscheduling作者：DongH.Baek、SangY.OH、WanC.Yoon期刊：COMPUTERINTEGRATEDMANUFACTURING、1999网络资源：Avisualizedhuman-computerinteractiveapproachtojobshopscheduli

还是要努力呀！·2024-02-01 08:30

【论文阅读笔记】Time Series Contrastive Learning with Information-Aware Augmentations

TimeSeriesContrastiveLearningwithInformation-AwareAugmentations摘要背景：在近年来，已经有许多对比学习方法被提出，并在实证上取得了显著的成功。尽管对比学习在图像和语言领域非常有效和普遍，但在时间序列数据上的应用相对较少。对比学习的关键组成部分：对比学习的一个关键组成部分是选择适当的数据增强（augmentation）方式，通过施加一些先

少写代码少看论文多多睡觉·2024-02-01 07:55

Transformer 自然语言处理（二）

原文：NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第五章：文本生成基于Transformer的语言模型最令人不安的特点之一是它们生成的文本几乎无法与人类写的文本区分开

绝不原创的飞龙·2024-02-01 07:57

CVPR2023：IDEA与清华提出首个一阶段3D全身人体网格重建算法，代码开源！

GitHub-IDEA-Research/OSX:[CVPR2023]Officialimplementationofthepaper"One-Stage3DWhole-BodyMeshRecoverywithComponentAwareTransformer

AI视觉网奇·2024-02-01 07:08

【无标题】

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2024-01-31 22:12

第38期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。

云起无垠·2024-01-31 22:41

Transformer 代码补充

本文是对Transformer-Attentionisallyouneed论文阅读-CSDN博客以及【李宏毅机器学习】Transformer内容补充-CSDN博客的补充，是对相关代码的理解。

Karen_Yu_·2024-01-31 21:27

创建Transformer编码器和多头注意力层 | 一篇文章就可以讲明白

它将Transformer

小北的北·2024-01-31 20:55

【NLP】使用Transformer模型进行文本分类

与大多数NLP应用一样，Transformer模型近年来在该领域占据主导地位。

风度78·2024-01-31 19:12

【Transformer 】 Hugging Face手册 (01/10)

Transformers提供API和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本和碳足迹，并节省从头开始训练模型所需的时间和资源。这些模型

无水先生·2024-01-31 19:42

基于BERT模型实现文本相似度计算

pipinstalltransformers==2.10.0-ihttps://pypi.tuna.tsinghua.edu.cn/simple!

伪_装·2024-01-31 18:25

vit细粒度图像分类（五）TransFC学习笔记

现有网络模型在处理过程中存在特征提取能力不足、特征表示冗余和归纳偏置能力弱等问题，因此提出一种改进的Transformer图像分类模型。

无妄无望·2024-01-31 18:40

【问题解决】| 对于代码访问transformers库报错，无法正常下载模型及其参数的问题

对于访问Transformer库的问题考虑用科学上网，直接进行下载把模型提前下好后放到本地但是如果能用第一种方式会好很多，但是实际中可能会遇到如下问题报这个错，原因是未开启科学上网OSError:Wecouldn'tconnectto'https

Qodicat·2024-01-31 13:44

transformer | transformer的输入部分input coding

文章目录transformer的输入部分inputcodingBPEBPE所解决的问题——OOVPE（PositionEncoding）位置编码transformer的输入部分inputcodingtransformer

晓源Galois·2024-01-31 11:47

交叉注意力融合时域、频域特征的FFT + CNN-Transformer-CrossAttention轴承故障识别模型

故障信号经过FFT可视化2轴承故障数据的预处理2.1导入数据2.2制作数据集和对应标签3交叉注意力机制3.1Crossattention概念3.2Cross-attention算法4基于FFT+CNN-Transformer-CrossAttention

建模先锋·2024-01-31 10:04

论文阅读：A Survey of Embodied AI: From Simulators toResearch Tasks

介绍具身智能可粗略定义为，智能体（可以是生物或机械），通过与环境产生交互后，通过自身的学习，产生对于客观世界的理解和改造能力。具身智能假设，智能行为可以被具有对应形态的智能体通过适应环境的方式学习到。因此，地球上所有的生物，都可以说是具身智能。但就目前而言，具身智能是将视觉、语言和推理等传统智能概念融入人工智能体中，以帮助解决虚拟环境中的人工智能问题。具身智能模拟器具身智能模拟器具身AI模拟器概述

帅你一脸的臭宝·2024-01-31 10:59

使用 Pegasus-t5 预训练模型遇到问题解决

问题&解决需要手动把tokenizer相关文件进行调整到当前文件夹下，并修改data_utils中fengshen的地址transformers版本降低为4.29.1否则会找不到vocabdemo代码fromtransformersimportPegasusF

be_humble·2024-01-31 07:28

推荐频道

transformer论文阅读