Transformer论文学习第32页

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

nlp中常用的预训练模型1当下NLP中流行的预训练模型¶1.1BERT及其变体1.2GPT1.3GPT-2及其变体1.4Transformer-XL1.5XLNet及其变体1.6XLM1.7RoBERTa

lys_828·2023-11-27 14:15

【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）

Transformer库的使用1了解Transformers库2Transformers库三层应用结构3管道方式完成多种NLP任务3.1文本分类任务3.2特征提取任务3.3完型填空任务3.4阅读理解任务

lys_828·2023-11-27 14:43

TinyViT: Fast Pretraining Distillation for Small Vision Transformers

PaperLink:https://arxiv.org/pdf/2207.10666.pdfcode:https://github.com/microsoft/Cream/tree/main/TinyViT概要1.基于IN-21K预训练TinyVit时使用快速蒸馏的方法，然后在IN-1K上微调，间接提高小模型对大数据的拟合能力；2.不同于传统vit-block的设计，提出分层vit-block模块

Dolly_DL·2023-11-27 13:03

微软提出MiniViT | 把DeiT压缩9倍，性能依旧超越ResNet等卷积网络

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童VisionTransformer由于其较高的模型性能在计算机视觉领域受到广泛关注。

Tom Hardy·2023-11-27 13:33

【论文阅读】【ViT系列】Swin Transformer：使用移动窗口的多层视觉Transformer

论文：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows代码：https://github.com/microsoft/Swin-Transformer

naive_learner·2023-11-27 13:32

一文速览轻量化Transformer各领域研究进展

©作者｜刘子康机构｜中国人民大学高瓴人工智能学院研究方向|多模态学习来自|RUCAIBox本文梳理了一些Transformer常用的轻量化方法，并分领域的介绍了一些主流的轻量化Transformer。

zenRRan·2023-11-27 13:32

如何高效、精准地进行图片搜索？看看轻量化视觉预训练模型

对于这个难题，微软亚洲研究院和微软云计算与人工智能事业部的研究人员对轻量化视觉模型进行了深入研究，并提出了一系列视觉预训练模型的设计和压缩方法，实现了视觉Transformer的轻量化部署需求。

AI科技大本营·2023-11-27 13:31

ECCV 2022｜微软提出TinyViT：释放小型视觉Transformer的潜力

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：极市平台|作者：科技猛兽导读大规模的数据集(比如ImageNet-21K)更适用于较大的ViT模型，而大数据集用在较小的ViT模型会带来欠拟合的问题，似乎小模型不太容易享受到大数据集带来的红利。因此，本文希望提出一种高效利用训练数据的方法，来改善模型的欠拟合问题。本文目录47TinyViT：大

Amusi（CVer）·2023-11-27 13:01

11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT

【写在前面】视觉Transformer(VIT)由于其卓越的建模能力，近年来在计算机视觉领域引起了极大的关注。然而，大多数流行的VIT模型都受到大量参数的限制，限制了它们在资源有限的设备上的适用性。

FightingCV·2023-11-27 13:30

大语言模型：以Amazon Titan等大语言模型为例介绍

Titan基于Transformer架构，其基础模型目

焦点快讯·2023-11-27 13:46

【注意力机制】学习

（一）应用场景（二）原理阶段1：计算相似性阶段2：归一化阶段3：计算Attention值（三）Self-Attention优点三、Transformer模型（一）整体结构2.读入数据总

SDsqx6·2023-11-27 11:09

论文复现—【MICCAI 2021】Task Transformer Network for Joint MRI Reconstruction and Super-Resolution

文章目录前言一、配置环境1、创建新环境2、配置conda及torch3、安装需要的Package1）使用condainstall指令安装出现的问题1解决方法14、检验环境二、准备数据1、工程下载1）代码下载和传输2）数据集下载和传输下载解压数据集3、数据集格式转换1）代码改动①目录更改②运行代码问题1解决1运行结果三、工程代码运行1）查看项目的issues2）路径更改3）报错及改错error1er

SDsqx6·2023-11-27 11:39

计算机视觉算法——基于Transformer的目标检测（Efficient DETR / Anchor DETR / Conditional DETR / DAB DETR）

计算机视觉算法——基于Transformer的目标检测（EfficientDETR/AnchorDETR/ConditionalDETR/DABDETR）计算机视觉算法——基于Transformer的目标检测

Leo-Peng·2023-11-27 10:57

计算机视觉算法——基于Transformer的目标检测（DN DETR / DINO / Sparser DETR / Lite DETR）

计算机视觉算法——基于Transformer的目标检测（DNDETR/DINO）计算机视觉算法——基于Transformer的目标检测（DNDETR/DINO）1.DNDETR1.1StablizeHungarianMatching1.2Denoising1.3AttentionMask2

Leo-Peng·2023-11-27 10:47

Transformer新解码算法火了，来自小羊驼团队｜代码已开源

丰色发自凹非寺量子位|公众号QbitAI小羊驼团队的新研究火了。他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。比如这是同一个模型（LLaMa-2-Chat7B）面对同一个用户提问（苏格拉底采用了哪些方法来挑战他那个时代的主流思想？）时输出回答的速度：左边为原算法，耗时18.12s，每秒约35个token；右边为该算法，耗时10.4s，

QbitAl·2023-11-27 09:43

CVPR 2023 精选论文学习笔记：ScanDMM A Deep Markov Model of Scanpath Prediction for 360deg Images

我们给出四个符合MECE要求的分类标准：1、任务类型图像质量评估：该任务涉及评估图像的质量，通常是通过将其与参考图像进行比较。参考文献[50]和[60]都关注这个任务。视觉显著性：该任务涉及识别图像中最显著的部分。图像中最显著的部分是那些最有可能首先吸引注意力的部分。参考文献[51、52、53、<

结构化文摘·2023-11-27 09:32

CVPR 2023 精选论文学习笔记：Prefix Conditioning Unifies Language and Label Supervision

以下是根据MECE原则给出的四个分类标准：1.学习范式。学习范式是指用于训练模型的一般方法。在视觉语言模型的背景下，主要的两种学习范式是监督学习和无监督学习。监督学习：监督学习涉及在标记的图像-文本对数据集上训练模型。标签为模型提供了明确的指导，使其能够学习图像和文本之间所需的关系。这种类型的学习通常用于需要模型根据输入数据进行预测或分类的任务，例如图像描述、视觉问题回答和视觉定位。无监督学习：无

结构化文摘·2023-11-27 09:57

【论文学习】Adversarial Examples on Graph Data: Deep Insights into Attack and Defense论文学习

摘要类似GCN这样的图深度学习模型近几年咋一些图数据任务上取得了很好的效果。与其他的深度学习模型类似，图深度学习模型通常也会遭受到对抗攻击。但是，跟非图数据相比，图数据中的离散特征，图连接以及对于扰动的不可感知的不同定义给图对抗攻击带来了许多挑战。在这篇文章中，作者提出了攻击和防御的方法。在攻击的时候，作者发现图数据的这些离散特性可以通过引入积分梯度来解决。这个积分梯度可以反映出对图中的某一条边或

精致又勤奋的码农·2023-11-27 06:13

OpenAI突发更新！GPT-3.5正式开放「微调」，人人可打造专属ChatGPT｜附最全官方指南...

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【目标检测和Transformer】交流群转载自：新智元|编辑：桃子好困【导读】今天，OpenAI正式开放GPT-3.5微调

Amusi（CVer）·2023-11-27 05:33

论文学习：New Similarity of Triangular Fuzzy Number and Its Application

一.介绍由于信息的不确定性和决策问题的复杂性，决策者很难用精确的数字来表达自己的偏好，所以他们更容易用模糊术语来表达偏好。三角模糊数不仅可以用来表示信息的模糊性和不确定性，还可以表示信息处理中的模糊项，相似性是两个模糊概念之间类比推理的重要工具。本文提出了一种新的测量两个三角模糊数相似度的方法SIAM。二.三角模糊数模糊数：如果正则凸模糊集是基于实域且满足以下条件：（1）仅存在一个元素，使得；（2

python小白22·2023-11-27 04:56

Bi-Branch Vision Transformer Network for EEG Emotion Recognition论文翻译

ABSTRACTElectroencephalogram(EEG)signalshaveemergedasanimportanttoolforemotionresearchduetotheirobjectivereflectionofrealemotionalstates.Deeplearning-basedEEGemotionclassificationalgorithmshavemadeenc

风清扬，夏邑·2023-11-27 03:19

【面经&八股】搜广推方向：常见面试题（二）

笃℃·2023-11-26 21:45

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（一）

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowsAbstract本文提出了一种新的visionTransformer，称为

哈尔滨张谦蛋·2023-11-26 20:17

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（三）

SwinTransformer总结1.网络整体架构下图是SwinTransformer文章中给出的图1，左边是本文要讲的SwinTransformer，右边边是之前讲的VisionTransformer

哈尔滨张谦蛋·2023-11-26 20:17

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（二）

S-transformer摘要摘要文章提出一个新的结构叫swintransformer,可以作为计算机视觉的通用骨干。

哈尔滨张谦蛋·2023-11-26 20:47

深度学习之图像分类（十四）CAT: Cross Attention in Vision Transformer详解

的计算方法、以及flops和划分的patch数目以及patch的维度计算关系IPSA如何进行localattention、CPSA如何进行globeattentionCAT的代码详细注释---需要学习完TransformerTNT

哈尔滨张谦蛋·2023-11-26 20:15

CVPR 2023 精选论文学习笔记：@LOGO A Long-Form Video Dataset for Group Action Quality Assessment

根据MECE原则，我们给出以下四个分类标准：1.数据集类型AQA数据集：这些数据集专门用于评估视频中人类动作的质量。它们通常包含对动作标签和动作质量的注释。示例包括JIGSAWS、MTL-AQA、AQA-7、UI-PRMD和

结构化文摘·2023-11-26 19:33

CVPR 2023 精选论文学习笔记：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection

我们给出以下四个分类标准：1.学习方法元学习：元学习是一种学习范式，旨在教模型如何快速学习新任务。在小样本学习的背景下，元学习算法在各种任务上进行训练，每个任务只有少数示例。这允许模型学习如何调整其学习过程以适应新任务，即使这些任务与它以前见过的任务非常不同。数据增强：数据增强是一种通过对现有数据应用转换来生成新训练数据的技术。这对于小样本学习来说可以是一种有用的技术，因为它可以帮助增加可用训练数

结构化文摘·2023-11-26 19:33

CVPR 2023 精选论文学习笔记：Robust 3D Shape Classification via Non-Local Graph Attention Network

基于MECE原则，我们给出以下四个分类标准：1、数据表示。数据表示是指3D点云数据如何在神经网络中表示。三种主要的数据表示类型是体素、点和图。体素化：在体素化表示中，3D点云被离散成一个体素网格，每个体素由一个特征向量表示。这种表示通常用于需要全局上下文的任务，例如分割和形状分析。点：在点表示中，每个3D点由一个特征向量表示，点之间的关系编码在神经网络架构中。这种表示通常用于需要局部上下文的任务，

结构化文摘·2023-11-26 19:03

CVPR 2023 精选论文学习笔记：Continual Semantic Segmentation with Automatic Memory Sample Selection

根据MECE原则，我们给出以下四个分类标准：标准1：持续学习方法。持续学习是指机器学习模型在不忘记以前学过的知识的情况下学习新任务的能力。持续学习有三种主要方法：复习式方法：这些方法定期回顾和重新训练模型在以前学过的数据的子集上。这有助于防止模型忘记旧知识。示例式方法：这些方法在一个内存缓冲区中存储每个任务的一小组示例。然后，模型在新任务数据以及来自内存缓冲区的示例上进行训练。这有助于确保模型在不

结构化文摘·2023-11-26 19:03

CVPR 2023 精选论文学习笔记：NoPe-NeRF Optimising Neural Radiance Field with No Pose Prior

结构化文摘·2023-11-26 19:02

CVPR 2023 精选论文学习笔记：Delving Into Shape-Aware Zero-Shot Semantic Segmentation

基于MECE原则，我们给出以下四种分类标准：标准1：分割类型语义分割：将图像中的每个像素分类为语义类别，例如“人”、“车”或“树”。这是最常见的分割类型，

结构化文摘·2023-11-26 19:26

Transformer论文阅读（三）：UNETR: Transformers for 3D Medical Image Segmentation

UNETR:Transformersfor3DMedicalImageSegmentation【Transformer用于3D医学图像分割】Abstract1Introduction2RelatedWork3Methodology3.1Architecture3.2LossFunction4Experiements4.1Datasets4.2ImplementationDetails4.3Quan

几夏经秋·2023-11-26 18:00

IVP 2021 UNETR: Transformers for 3D Medical Image Segmentation

在NLP领域，基于transformer的模型已经在各种任务中实现了最先进的

smile909·2023-11-26 18:00

EPT-Net：用于3D医学图像分割的边缘感知转换器

EPT-Net:EdgePerceptionTransformerfor3DMedicalImageSegmentationEPT-Net：用于3D医学图像分割的边缘感知转换器背景贡献实验方法DualPositionalTransformer

火柴狗·2023-11-26 18:59

第四十六周周报

学习目标：修改ViTGAN代码学习内容：1、傅里叶特征2、位置编码学习时间：7.22-7.28学习产出：一、傅里叶特征根据StyleGAN3，将ViTGAN第一个TransformerBlock的输入从仿射变换

童、一·2023-11-26 14:59

第六十二周周报

学习目标：一、实验二、论文学习时间：2023.11.11-2023.11.17学习产出：实验1、CB模块实验效果出来了，加上去效果不太行，后续实验考虑是否将CB模块换到其他地方2、CiFAR100实验已完成

童、一·2023-11-26 14:59

第六十三周周报

学习目标：项目实验和论文学习时间：2023.11.18-2023.11.24学习产出：论文对论文进行了润色和修改实验1、上周Diffusion+Relative的结果无法再次复现，新跑的FID与以前实验跑的结果相差不大

童、一·2023-11-26 14:54

MCAN论文笔记——Deep Modular Co-Attention Networks for Visual Question Answering

欢迎指出DeepModularCo-AttentionNetworksforVisualQuestionAnswering,CVPR2019Tutorial(rohit497.github.io)本文受到Transformer

sajomanaka·2023-11-26 14:53

【论文】MCAN

(pdf)WhatisMCANMCAN主要工作可以总结为下面两点：模仿transformer设计了两个注意力单元作为ModularCo-Attention（MAC）layer的基本组成元件—

大白羊_Aries·2023-11-26 14:51

如何使用YOLOv8代码框架中的RT-DETR

1.RT-DETRRT-DETR是由由此，百度推出了——RT-DETR(Real-TimeDEtectionTRansformer)，一种基于DETR架构的实时端到端检测器，其在速度和精度上取得了SOTA

有趣的野鸭·2023-11-26 12:10

【动手学深度学习v2】注意力机制—4 Transformer

Transformer模型多头注意力Multi-HeadAttention有掩码的多头注意力Maskedmulti-headattention基于位置的前馈网络PositionwiseFFN残差+层归一化

Hannah2425·2023-11-26 09:20

【原创】理解ChatGPT之注意力机制和Transformer入门

：【原创】理解ChatGPT之GPT工作原理【原创】理解ChatGPT之机器学习入门【原创】AIGC之ChatGPT高级使用技巧GPT是什么意思GPT的全称是GenerativePre-trainedTransformer

黑夜路人·2023-11-26 09:14

人工智能-注意力机制之Transformer

Transformer比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。

白云如幻·2023-11-26 09:42

大语言模型概述（一）：基于亚马逊云科技的研究分析与实践

现有的大语言模型主要采用Transformer模型架构，并且在很大程度上扩展了模型大小、预训练数据和总计算量。他们可以更好地理解自然语言，并根据给定的上下文（例如prompt）

焦点快讯·2023-11-26 08:26

UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

目录UP-DETR:UnsupervisedPre-trainingforObjectDetectionwithTransformers论文简介论文主要贡献：实现方法：Single-QueryPatchMulti-QueryPatches

梦想的小鱼·2023-11-26 07:32

Co-DETR:DETRs与协同混合分配训练代码学习笔记

关于论文的学习笔记：Co-DETR:DETRs与协同混合分配训练论文学习笔记-CSDN博客作者提出了一种新的协同混合任务训练方案，即Co-DETR，以从多种标签分配方式中学习更高效的基于detr的检测器

athrunsunny·2023-11-26 07:52

gpt人工智能免费版 gpt4怎么下载 gpt4.0国内怎么用

GPT（GenerativePre-trainedTransformer）是一种基于人工智能的自然语言处理技术，它可以生成文本、回答问题以及进行语言理解和生成等任务。

好项目高省·2023-11-26 07:50

CCF认证202305-2矩阵运算（C语言版）

试题编号：202305-2试题名称：矩阵运算时间限制：5.0s内存限制：512.0MB问题描述：题目背景是Transformer中注意力模块的核心算式，其中、和均是行、列的矩阵，表示矩阵的转置，表示矩阵乘法

yangjiaer·2023-11-26 06:42

推荐频道

Transformer论文学习