SwinTransformer

Python深度学习：构建下一代智能系统

为了帮助广大学员更加深入地学习人工智能领域最近3-5年的新理论与新技术，本文讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
2401_83402415·2024-08-28 10:04

Transformer视频理解学习的笔记

今天复习了Transformer,ViT,学了SwinTransformer,还有观看了B站视频理解沐神系列串讲视频上（24.2.26未看完,明天接着看）这里面更多论文见：https://github.com
LinlyZhai·2024-02-28 14:26

Vis-TOP：视觉Transformer叠加处理器

优秀的型号如VisionTransformer[5]和SwinTransformer[17]已经出现。同时，Transformer模型平台扩展到嵌入式设备，以满足一些对资源敏感的应用场景。
离欢·2024-02-20 18:47

关于Swin Transformer的架构记录

SwinTransformer可以说是批着Transformer外表的卷积神经网络。具体的架构如下图所示：首先我们得到一张224*224*3的图片。通过分成4*4的patch，变成了56*56*48。
一条小小yu·2024-02-19 12:53

【论文精读】ViT-Adapter

后者通常使用局部空间操作将特定于视觉的归纳偏差引入到其架构中，故而可以产生更好的结果（如SwinTransformer）。
None-D·2024-02-11 15:12

Transformer实战-系列教程10：SwinTransformer 源码解读3（SwinTransformerBlock类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
机器学习杨卓越·2024-02-08 09:09

Transformer实战-系列教程12：SwinTransformer 源码解读5（Mlp类/PatchMerging类/SwinTransformer模型参数）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
机器学习杨卓越·2024-02-08 09:09

Transformer实战-系列教程9：SwinTransformer 源码解读2（PatchEmbed类/BasicLayer类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
机器学习杨卓越·2024-02-08 09:39

Transformer实战-系列教程11：SwinTransformer 源码解读4（WindowAttention类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码SwinTransformer算法原理SwinTransformer
机器学习杨卓越·2024-02-08 09:36

Transformer实战-系列教程7：SwinTransformer 算法原理 1

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传1、SwinTransformerSwinTransformer可以看作为一个backbone用来做分类、检测、分割都是非常好的也可以直接套用在下游任务中不仅源码公开了，预训练模型也公开了预训练模型提供大中小三个版本图像中的像素点太多了，如果需要更多的特征就
机器学习杨卓越·2024-02-06 05:12

【YOLOv8改进】骨干网络： SwinTransformer (基于位移窗口的层次化视觉变换器）(论文笔记+引入代码)

文章目录介绍摘要创新点文章链接基本原理HierarchicalFeatureMapsPatchMergingSwinTransformerBlock基于窗口的自注意力移位窗口自注意力核心代码官方代码非官方可用代码YOLOv8引入下载YoloV8代码
程序员半夏·2024-01-29 13:36

vit细粒度图像分类（二）SwinFC 学习笔记

基准骨干网络采用具有多阶段层级架构设计的SwinTransformer模型作为全新视觉特征提取器，从中获取局部和全局信息以及多尺度特征。
无妄无望·2024-01-27 13:39

ATTENTION SWIN U-NET: CROSS-CONTEXTUAL ATTENTION MECHANISM FOR SKIN LESION SEGMENTATION

摘要关键点：1.现有限制：U-Net架构中卷积运算的位置限制了其捕捉长距离依赖性的性能2.解决限制：提出了一种基于Transformer的U-Net架构，用SwinTransformer模块取代CNN块来捕获局部和全局表示
湘溶溶·2024-01-18 10:12

深度学习代码源码项目90个分享

哔哩哔哩视频卷积网路CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
z5645654·2024-01-12 21:05

4、Swin Transformer：视觉Transformer的革新之路

、具体实现细节1、模型架构2、PatchPartition3、PatchMerging4、SwinTransfomerBlockW-MSASW-MSA五、对比ViT六、一些资料一、论文名称原论文地址：SwinTransformer
O_meGa·2024-01-12 15:21

毕业论文idea

SwinTransformer的模型表现不如MobileViT使用高像素的数据集在云服务器上训练时，如果您发现SwinTransformer的模型表现不如MobileViT，这可能由几个因素导致：模型架构与数据匹配度
pythonSuperman·2024-01-11 02:10

【论文阅读】swin transformer阅读笔记

在vit以后证明了transformer在视觉任务中的一系列表现videoswintransformer在视频上很好的效果swinMLP自监督掩码自监督效果很炸裂swintransformer成了视觉领域一个绕不开的
小松不菜·2024-01-04 23:22

第二十五周：文献阅读笔记（swin transformer）

第二十五周：文献阅读笔记（swintransformer）摘要Abstract1.swintransformer文献笔记1.1.文献摘要1.2.引言1.3.SwinTransformer原理1.3.1.
@默然·2024-01-01 16:53

Python深度学习技术进阶篇|注意力（Attention）机制详解

Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer等）、生成式模型（变分自编码器VAE、生成式对抗网络GAN、扩散模型DiffusionModel
AIzmjl·2023-12-30 19:02

论文阅读——Slide-Transformer（cvpr2023）

（2）就是SwinTransformer这条窗口注意力范式，输入被分为特殊设计的窗口
じんじん·2023-12-30 06:33

Python深度学习技术进阶篇|Transformer模型详解

Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer等）、生成式模型（变分自编码器VAE、生成式对抗网络GAN、扩散模型DiffusionModel
zmjia111·2023-12-28 19:21

swin transformer 转 onnx

swintransformer代码：非官方实现，但是好理解。
wujpbb7·2023-12-27 15:13

【论文阅读笔记】BTS-ST: Swin transformer network for segmentation and classification of multimodality breast

[代码开源]本文模型使用SwinTransformer（Encoder）+类Unet（Decod
cskywit·2023-12-21 20:28

论文解读：SwinTransformer-减少Q、K、V的运算规模

概述以及要解决的问题什么是Bankbone:不论什么模型，用这个backbone提特征，效果大概率非常好直接套用在各种下游任务中要解决的问题：一个block要完成的任务整体网络架构H*W*3卷积->还是H*w*3->对应H*w的特征图的，取4*4的小正方型resize为一维向量(长度为16)，总16个(H/4)*(H/4)之后考虑上channel=3，故一维向量长度应为16*3=48，故此时有的特
十有久诚·2023-12-21 16:15

一点技术细节

HungarianAlgorithm_哔哩哔哩_bilibili课件：https://github.com/wangshusen/AdvancedAlgorithms.gitSWintransformer：SwinTransformer
じんじん·2023-12-19 11:18

YOLOv8最新改进系列：YOLOv8融合SwinTransformer模块，有效提升小目标检测效果！

YOLOv8最新改进系列：YOLOv8融合SwinTransformer模块，有效提升小目标检测效果！YOLOv8最新改进系列一、swintran
AI棒棒牛·2023-12-19 04:20

swin transformer+FPN（内含代码，可用于图像分类）

以下是一个基础版本的SwinTransformer（Swin-B）加上特征金字塔网络（FPN）实现渐进融合的简化代码。请注意，这是一个简化版本，可能需要根据具体需求进行调整和优化。
赢勾喜欢海·2023-12-17 06:23

SwinIR: Image Restoration Using Swin Transformer

SwinIR简介论文地址：SwinIR:ImageRestorationUsingSwinTransformer代码：SwinIR本文提出了一个基于swintransformer的图像超分模型swinIR
Miracle Fan·2023-12-14 12:53

SwinTransformer与Vit细节总结

建议通过标题来快速跳转Vit(VisionTransformer)Vit把图片打成了patch，然后过标准的TransformerEncoder，最后用CLStoken来做分类Vit的位置编码作者在文中试了几种方式，发现这几种在分类上效果差不多1-dimensionalpositionalembedding2-dimensionalpositionalembeddingRelativepositi
taoqick·2023-12-05 15:56

深度学习之图像分类（十五）DINAT: Dilated Neighborhood Attention Transformer理论精简摘要（二）

DilatedNeighborhoodAttentionTransformer摘要局部注意力机制：例如滑动窗口NeighborhoodAttention（NA）或SwinTransformer的ShiftedWindowSelfAttention
哈尔滨张谦蛋·2023-11-29 09:53

【论文阅读】【ViT系列】Swin Transformer：使用移动窗口的多层视觉Transformer

论文：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows代码：https://github.com/microsoft/Swin-Transformer
naive_learner·2023-11-27 13:32

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（一）

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowsAbstract本文提出了一种新的visionTransformer，称为
哈尔滨张谦蛋·2023-11-26 20:17

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（三）

SwinTransformer总结1.网络整体架构下图是SwinTransformer文章中给出的图1，左边是本文要讲的SwinTransformer，右边边是之前讲的VisionTransformer
哈尔滨张谦蛋·2023-11-26 20:17

深度学习之图像分类（十三）Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解（二）

S-transformer摘要摘要文章提出一个新的结构叫swintransformer,可以作为计算机视觉的通用骨干。
哈尔滨张谦蛋·2023-11-26 20:47

深度学习之图像分类（十四）CAT: Cross Attention in Vision Transformer详解

和划分的patch数目以及patch的维度计算关系IPSA如何进行localattention、CPSA如何进行globeattentionCAT的代码详细注释---需要学习完TransformerTNT、swintransformer
哈尔滨张谦蛋·2023-11-26 20:15

注意力机制、Transformer模型、生成式模型、目标检测算法、图神经网络、强化学习、深度学习模型可解释性与可视化方法等详解

采用“理论讲解+案例实战+动手实操+讨论互动”相结合的方式，抽丝剥茧、深入浅出讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
小艳加油·2023-11-15 17:41

python图神经网络，注意力机制、Transformer模型、目标检测算法、强化学习等

为代表的深度学习的快速发展，人工智能迈入了第三次发展浪潮，AI技术在各个领域中的应用越来越广泛本文重点为：注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、SwinTransformer
xiao5kou4chang6kai4·2023-11-15 17:27

《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》阅读笔记

论文标题《SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows》Swin这个词貌似来自后面的ShiftedWindowsShiftedWindows
AncilunKiang·2023-11-12 02:04

基于深度学习的实战项目1000个

视频传送门卷积网路CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
huihuang_8295·2023-11-03 10:08

人工智能-深度学习项目100项

哔哩哔哩视频卷积网路CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
lyx_78932·2023-11-03 10:08

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务，微软亚研原班人马打造...

视学算法报道编辑：杜伟、陈萍微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
视学算法·2023-11-02 10:30

Swin Transformer升级版来了，30亿参数，刷榜多项视觉任务，微软亚研原班人马打造

微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。欢迎收藏学习，喜欢点赞支持。
机器学习社区·2023-11-02 10:51

Swin Transformer升级版来了！30亿参数，刷榜多项视觉任务

©作者|杜伟、陈萍来源|机器之心微软亚洲研究院升级了SwinTransformer，新版本具有30亿个参数，可以训练分辨率高达1,536×1,536的图像，并在四个具有代表性的基准上刷新纪录。
PaperWeekly·2023-11-02 10:48

[YoloV5修改]基于GnConv卷积模块的yolov5修改

HorNet论文地址：https://arxiv.org/pdf/2207.14284.pdfHorNet是在Swintransformer结构的基础上，结合大核思想提出的新的网络结构模块，使用该模块，
爱改网络的法式小面包·2023-11-01 04:57

YOLO算法改进3【中阶改进篇】：添加HorNet卷积模块

论文地址：https://arxiv.org/pdf/2207.14284.pdf源码地址：https://github.com/raoyongming/HorNet.HorNet是在Swintransformer
梦在黎明破晓时啊·2023-11-01 04:54

Swin-transformer详解

前言这篇论文提出了一个新的VisionTransformer叫做SwinTransformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络.但是直接把Transformer从NLP用到Vision
@左左@右右·2023-10-23 02:23

Swin Transformer V2 Scaling Up Capacity and Resolution（CVPR2022）

RelatedWorksLanguagenetworksandscalingupVisionnetworksandscalingupTransferringacrosswindow/kernelresolutionSwinTransformerV2SwinTransformer
怎么全是重名·2023-10-22 12:01

玩转MMDetection-MMDetection中的模型框架文件及参数解读（一）

该文主要介绍完整的MMDetection包含的配置文件中的模型文件--model.py以下代码详细逐行解读了模型文件包含的代码含义及使用一、特征提取网络主干采用如上图所示的SwinTransformer
zuoyou-HPU·2023-10-21 15:33

论文精讲目录

ViT论文逐段精读【论文精读】MoCo论文逐段精读【论文精读】对比学习论文综述【论文精读】SwinTransformer论文精读【论文精读】CLIP论文逐段精读【论文精读】双流网络论文逐段精读【论文精读
云淡风轻__·2023-10-19 11:44

【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型

MobileViT，这个轻量级视觉模型新架构火了ECCV2022丨轻量级模型架构火了，力压苹果MobileViT（附代码和论文下载）再读VIT，还有多少细节是你不知道的二、知识储备1.ViT学习路径ViT；PVT；SwinTransformer
花花少年·2023-10-19 02:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他