ICLR 2022的优质论文你知道吗?

ICLR 2022的投稿刚结束,说到ICLR 2022的优质论文,那肯定是近来被频频提到的“ Patches Are All You Need?” 了!
论文链接:https://www.aminer.cn/pub/616138556750f879a4d7c36e/?f=cs

近年来,深度学习系统中的卷积神经网络在处理计算机视觉任务中,一直占据主要地位。但最近,基于 Transformer 模型的架构,例如 ViT,在许多任务中都表现出了引人注目的性能。Transformer 成为视觉领域的主导架构是大大势所趋。然而,为了将 Transformer 应用于图像领域,信息的表示方法必须改变:因为如果在每像素级别上应用 Transformer 中的自注意力层,它的计算成本将与每张图像的像素数成二次方扩展,所以折衷的方法是首先将图像分成多个 patch,再将这些 patch 线性嵌入 ,最后将 transformer 直接应用于此 patch 集合。那么大家可能会问:像 ViT 这种架构强大的性能是来自 Transformer ,还是至少部分是由于使用 patch 作为输入表示实现的?
在这篇文章中,研究者提供了一些证据,为我们揭晓了这一谜底。欲查看全文可以点击链接查看:https://www.aminer.cn/pub/616138556750f879a4d7c36e/?f=cs

AMiner平台是一个学术网站,不仅可以查找论文,阅读文献,还可以看到最新的科技资讯和会议论文。在主页添加关键词,系统就会自动为您推荐该领域最新的优质论文。
ICLR 2022的优质论文你知道吗?_第1张图片
更多论文,尽在AMiner学术平台:https://www.aminer.cn/?f=cs

你可能感兴趣的:(AMiner论文推荐,AMiner会议论文推荐,计算机视觉,人工智能,深度学习)