[Deep Learning] Contextual Attention with Keras & Pytorch

Abstract

今天介绍一种十分基本的Attention应用，suppose我们现在有n个完全一样的entity，而我们已经知道这n个entity服从一种重要性分布，那么我们如何让深度网络能够自己知道哪些entity是比较重要的呢，两种十分常见的场景是NLP中sentence-level context的获取和CV中spatial-wise或channel-wise的加权，那么就是接下来要介绍的这个Attention，和常用的MaxPooling有什么区别呢？

好用就万事了，but it depends~ 当然还有更骚更强的SCA-CNN

上资源，觉得好用别吝啬Star哟：

https://github.com/WenYanger/Contextual-Attention

Reference:

Raffel et al. [https://arxiv.org/abs/1512.08756]

SCA-CNN : [https://arxiv.org/abs/1611.05594v1]

---

Results