【SwinTransformer】“分层”的概念;SwinTransformer中的“窗口”的概念;一个block要完成的任务;获取各窗口的输入特征;基于窗口的注意力机制;

声明:仅学习使用~

目录

    • 1. SwinTransformer整体概述
    • 2. 要解决的问题及其优势分析
    • 3. 一个block要完成的任务:窗口注意力机制、滑动窗口注意力机制
    • 4. 获取各窗口输入特征
    • 5. 基于窗口的注意力机制解读
    • 6. 窗口偏移操作的实现
    • 7. 偏移细节分析 及其 计算量概述
    • 8. 整体网络架构整合
    • 9. 下采样 操作实现方法
    • 10. 分层计算方法

1. SwinTransformer整体概述

【SwinTransformer】“分层”的概念;SwinTransformer中的“窗口”的概念;一个block要完成的任务;获取各窗口的输入特征;基于窗口的注意力机制;_第1张图片

2. 要解决的问题及其优势分析

“分层”

在传统的Transformer当中,对于一个图像,我们是将其分割成每一个小的patch,每个patch组成序列当中的一个小部分;尽可能每个patch分的细一些,因为每个patch是包含很多个像素点的,但

你可能感兴趣的:(【小小的项目,(实战+案例)】,深度学习,人工智能,SwinTransformer,注意力机制,Transformer)