Caffe常用层参数介绍

DATA

crop:截取原图像中一个固定patch

layers {
  name: "data"
  type: DATA
  top: "data"
  top: "label"
  data_param {
    source: "../data/ImageNet/imagenet-train" #数据存放位置
    batch_size: 128 #一次批处理的大小，视内存大小而定。四维数组N*C*H*W中的N
    backend: LMDB #数据库类型，默认为leveldb
  }
  include: { phase: TRAIN } #如果加了这一行的话表示是在训练过程中使用该层，可将TRAIN替换为TEST
}

CONVOLUTION

layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  param {  
    lr_mult: 1 #权重的学习率 该层lr=lr_mult*base_lr
    decay_mult: 1 #权重的衰减值
  }
  param {  
    lr_mult: 2 #偏置项的学习率
    decay_mult: 0 #偏置项的衰减值
  }
  convolution_param {
    num_output: 96 #该层输出的filter的个数。四维数组N*C*H*W中的W
    kernel_size: 11 #卷积核大小11*11。可设定长kernel_h与宽kernel_w
    stride: 4 #步长，也就是卷积核滑动的距离
    weight_filler { #卷积核初始化方式
      type: "gaussian" #高斯分布
      std: 0.01 #标准差为0.01
    }
    bias_filler { #偏置项初始化方式
      type: "constant" #连续分布
      value: 0
    }
  }
}

这里说一下关于weight_filler和bias_filler的几种设定方式：

TYPE	PARAM	EXPLAIN
Constant	Value	以常量初始化，初始化值为[Value]
Gaussian	std,mean	以高斯分布方式初始化，均值为[mean],标准差为[std]
uniform	min,max	均匀分布，[min,max]
xavier	scale	均匀分布，[-scale,scale],scale=sqrt(3/K*H*W)

RELU

layer {
  name: "relu"
  type: "ReLU"
  bottom: "conv"
  top: "conv"
}

Relu标准函数： f(x)=max(0,x) 。
当未指定negative_slope值时，为标准Relu层；指定negative_slope值时， f(x)={x,negative_slope×x,x>0x≤0

LRN

layer {
  name: "norm"
  type: "LRN"
  bottom: "conv"
  top: "norm"
  lrn_param {
    local_size: 5#对于cross channel LRN，表示需要求和的channel的数量；对于within channel LRN，表示需要求和的空间区域的边长。默认为5
    alpha: 0.0001 #LRN公式中的参数alpha
    beta: 0.75 #LRN公式中的参数beta
  }
}

POOLING

layer {
  name: "pool"
  type: "Pooling"
  bottom: "norm1"
  top: "pool1"
  pooling_param {
    pool: MAX #有三种池化方式：MAX,AVG,STOCHASTIC
    kernel_size: 3 #卷积核大小;可设定长kernel_h与宽kernel_w
    stride: 2 #步长
  }
}

INNERPRODUCT

参数和卷积层几乎一样，仅贴出代码，不做过多解释

layer {
  name: "fc7"
  type: "InnerProduct"
  bottom: "fc6"
  top: "fc7"
  param { 
    lr_mult: 1
    decay_mult: 1
  }
  param { 
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}

ACCURACY

layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy"
  include {phase: TEST}
}

可添加

accuracy_param {
    top_k: 5
  }

默认为top_1，添加该项后，选择测试top_k准确率。

SOFTMAX_LOSS

layers {
  name: "loss"
  type: SOFTMAX_LOSS
  bottom: "pool3"
  bottom: "label"
  top: "loss"
 include: { phase: TRAIN }
}

注意，在计算softmax_loss前，将pool3层默认经过了一次softmax计算。
另外，以上所有层的name项都是自己随意定的，只要好辨认，不重复就可以。