ViT中的attention可视化

ViT中的attention可视化_第1张图片

  ViT论文中使用的可视化attention的方法是Attention Rollout。这个方法来自与Quantifying Attention Flow in Transformers。Jacob Gildenblat写了个blog介绍了这个方法和实现。
  另外一个方法来自于Transformer Interpretability Beyond Attention Visualization.效果图如下所示:
ViT中的attention可视化_第2张图片

你可能感兴趣的:(pytorch)