【Transformer】医学分割领域的应用与扩展(论文阅读)(二) || DETR

声明:仅学习使用~

目录

    • 1. Transformer学习
    • 2. DETR

1. Transformer学习

前篇指路:【Transformer】医学分隔领域的应用与扩展(论文阅读)(一)

继续…

关于Self-Attention的公式:

【Transformer】医学分割领域的应用与扩展(论文阅读)(二) || DETR_第1张图片
原来是 m x m 是2D的,现在变成1 x m了,是1D的了。

【Transformer】医学分割领域的应用与扩展(论文阅读)(二) || DETR_第2张图片
下图中。左图是传统的Transformer,右图是作者提出的“位置编码”。

关于 Q K V 的故事。可以参见之前记录过的:【DETR目标检测】关键词:Decoder。Enc

你可能感兴趣的:(【小小的项目,(实战+案例)】,transformer,论文阅读,位置编码,人工智能,医学分割)