个人解析---caffe elewise层

Eltwise层的操作有三个：product（点乘）， sum（相加减） 和 max（取大值），其中sum是默认操作。

elewise层含有参数coeff，虽然经常省略不写

如果实现A-B，则可采用以下方式：

layer 
{
  name: "eltwise_layer"
  type: "Eltwise"
  bottom: "A"
  bottom: "B"
  top: "diff"
  eltwise_param {
    operation: SUM
    coeff: 1
    coeff: -1
  }
}​

以下是个人推测

elewise层由于coeff参数的存在，得到的结果经过梯度反向传播，其实得到的不一定是真正意义上的A+B，

而应该是A*weight_A+B*weight_B1

这一点在论文MemNet中也可以看到，

如下图所示

在最后的elewise中，

output_1*weight_1+output_2*weight_2+.....+output_M*weight_M

所以推测应该是正确的

本人有一篇关于MemNet的论文解析，地址为：http://blog.csdn.net/wangkun1340378/article/details/78029419