深度学习之concatenate和elementwise操作（二）
一、深度学习里面的element-wise特征相乘和相加到底有什么区别？
很多深度学习模型在设计时，中间特征在分支处理后，然后可能会采用element-wise相乘或相加，不知道这个乘和加的细微区别？
答：相加的两个tensor通常都是具有特征意义的tensor，相乘的话，一般来说，其中一个tensor是有类似权重的含义，而不是特征意义。
二、concatenation operation
向量之间的拼接
代码例子如下：
import numpy as np
a = np.array([[1, 2], [3, 4]])
print(a.shape)
b = np.array([[5, 6]])
print(b.shape)
np.concatenate((a, b))
c= np.concatenate((a, b))
print(c)
print(c.shape)
Out[1]: (2, 2)
Out[2]: (1, 2)
Out[3]:
array([[1, 2],
[3, 4],
[5, 6]])
Out[4]: (3, 2)
三、Dot Product
向量点积
import numpy as np
np1 = np.array([4, 6])
np2 = np.array([[-3], [7]])
print(np.dot(np1, np2)
## [30]
# 4*-3 + 6*7 = 42*12 = 30四、element-wise product
element-wise product实际上是两个同样维度的向量/矩阵每一个元素分别相乘
这个可以参见：我的另一篇文章
import numpy as np
np1 = np.array([4, 6])
np2 = np.array([-3, 7])
print(np2 * np1)
# [-12 42]
import numpy as np
np1 = np.array([4, 6])
print(np1 * 3)
# [12 18]
五、DL中，何时用concatenate/elementwise乘法/elementwise加法呢?
深度学习中，信息相互融合的时候，什么时候用concatenate，什么时候用elementwise乘法呢，什么时候又用elementwise加法呢？
答：
点乘其实是gate的形式 可能会损失性能。concatenate则是简单拼接，要网络自己学习变换。
实际过程中可能只能试。
六、feature map的几种连接形式
（1）concatenate：通道合并，每个通道对应着对应的卷积
（2）element-wise addition（计算量比（1）小）：将对应的特征图相加，然后卷积。对应通道的特征图语义类似，对应的特征图共享一个卷积核。
对比：
add方式：add的特征结合方式使得描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，这显然是对最终的图像的分类是有益的。
concatenate方式：该方式是通道数的合并，也就是说描述图像本身的特征数（通道数）增加了，而每一特征下的信息是没有增加的。
显然，concatenate的计算量 > add的计算量
另：还有element-wise max和element-wise average方式
实验结果：max>avg>concate
七、总结
通过add操作会得到新的特征，这个新的特征可以反映原始特征的一些特性，但是原始特征的一些信息也会由于add方式造成损失，但是concatenate就是将原始特征直接拼接，让网络去学习应该如何融合特征，这个过程中信息不会损失。
concat带来的计算量较大，在明确原始特征的关系可以使用add操作融合的话，使用add操作可以节省计算代价!
参考：
深度学习中---merger层、concatenate层、add层的区别_夜幕下的光123的博客-CSDN博客_concatenate层
Pytorch教程（十五）：element-wise、Broadcasting_vincent_duan的博客-CSDN博客_element-wise