学习日记2020-10-21（注意力模块）

注意力模块：
物体间或者物体内一些区域的关联性是有助于目标检测任务的，但是之前没人有实际的证明如何使用这种关联性是一定可行的，本文作者就尝试在检测网络中添加注意力模块。《Relation Networks for Object Detection》

转载自博客：

添加链接描述
计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息
主要是三种注意力域，1空间域(spatial domain)，2通道域(channel domain)，3混合域(mixed domain)。–时间域(time domain)
1Spatial Transformer Networks（STN）pooling的方法太过于暴力，直接将信息合并会导致关键信息无法识别出来，所以提出了一个叫空间转换器（spatial transformer）的模块，将图片中的的空间域信息做对应的空间变换，从而能将关键的信息提取出来。
这是空间变换网络（spatialtransformer network）中最重要的空间变换模块，这个模块可以作为新的层直接加入到原有的网络结构，比如ResNet中。空间转换器中产生的采样矩阵是能够将原图中关键的信号提取出来
2基本的信号变换的角度去理解。信号系统分析里面，任何一个信号其实都可以写成正弦波的线性组合，经过时频变换<注4>之后，时域上连续的正弦波信号就可以用一个频率信号数值代替
不同通道的值乘上不同的权重，从而可以增强对关键通道域的注意力

总结的来看，就是权重加持的问题，对于不同的注意点，增加上相对应的权重，空间域来看的话，使用的空间转换器。通道域是对通道中的多特征进行权重加持之后的选择，时间域是在视频的观念中加上了某一个图像的权重的重要性。说起来都是数学的问题，对于不同的权重使用数学的形式对其进行处理。

转载自博主watersink：

添加链接描述



attention机制听起来高达上，其实就是学出一个权重分布，再拿这个权重分布施加在原来的特征之上，就可以叫做attention。简单来说：
（1）这个加权可以是保留所有分量均做加权（即soft attention）；也可以是在分布中以某种采样策略选取部分分量（即hard attention）。
（3）这个加权可以作用在空间尺度上，给不同空间区域加权；也可以作用在channel尺度上，给不同通道特征加权；甚至特征图上每个元素加权。
（4）这个加权还可以作用在不同时刻历史特征上，如Machine Translation，以及我前段时间做的视频相关的工作。

使用tikz绘制深度学习网络图

转载自公众号：添加链接描述

在电脑上安装过LaTeX都知道，LaTeX安装包巨大，并且安装速度缓慢，下载和安装的时间需要几乎一下午才能完成。庆幸的是有一个平台可以在线编译文档，那就是overleaf，如今overleaf也推出了中文版本网站：https://cn.overleaf.com/ 以下代码全部是在overleaf平台上编写运行得到的。