深度学习随笔

一、SPP的作用

  解决了训练CNN需要输入图像尺寸一致的问题。

  一个CNN可看作由卷积、池化、全连接层组成，由于全连接层的权重矩阵是一个固定值，因此输入全连接层的特征图的维度也必须固定。

  SPP利用多尺度思想解决了上述问题，使得神经网络的训练过程由图1变为图2，即输入图像的尺寸可以不一样，不再受到限制。

图1 原有神经网络训练过程

图2 带SPP的神经网络训练过程

  SPP的思想就是利用多个不同尺度的池化层进行特征的提取，融合成一个21维的向量输入至全连接层。

图3 SPP网络结构

二、Attention原理

  将$Source$中的构成元素想象成是由一系列的$<Key,Value>$数据对构成，此时给定$Target$中的某个元素$Query$，通过计算$Query$和各个$Key$的相似性或者相关性，得到每个$Key$对应$Value$的权重系数，然后对$Value$进行加权求和，即得到了最终的$Attention$数值。所以本质上$Attention$机制是对$Source$中元素的$Value$值进行加权求和，而$Query$和$Key$用来计算对应$Value$的权重系数。即可以将其本质思想改写为如下公式：

$$Attention(Query,Source)=\sum _{i=1}^{L_x}Similarity(Query,Ke{y}_i)\ast Valu{e}_i$$

三、向量内积

  向量内积又叫向量点乘，公式如下：

$$a\cdot c=\parallel a\parallel \times \parallel c\parallel \times cos\theta$$

  向量内积的求导公式如下：

$$\frac{\partial (\bar{x}\cdot \bar{w})}{\partial \bar{w}}={\bar{x}}^T$$

四、Transformer中的Scaled Dot-Product Attention

  公式如下：

$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$$

  对一组key-value对和n个query,可以使用两次矩阵乘法，并行的计算里面的每个元素。

五、反向传播

  正向传播把所有的中间结果都存储下来，反向传播过程中会用到这些中间结果。