TensorFlow学习——tf.nn.conv2d和tf.contrib.slim.conv2d的区别

在查看代码的时候,看到有代码用到卷积层是tf.nn.conv2d,也有的使用的卷积层是tf.contrib.slim.conv2d,这两个函数调用的卷积层是否一致,在查看了API的文档,以及slim.conv2d的源码后,做如下总结:

首先是常见使用的tf.nn.conv2d的函数,其定义如下:

conv2d(

    input,

    filter,

    strides,

    padding,

    use_cudnn_on_gpu=None,

    data_format=None,

    name=None

)

input指需要做卷积的输入图像,它要求是一个Tensor,具有[batch_size, in_height, in_width, in_channels]这样的shape,具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数],注意这是一个4维的Tensor,要求数据类型为float32和float64其中之一

filter用于指定CNN中的卷积核,它要求是一个Tensor,具有[filter_height, filter_width, in_channels, out_channels]这样的shape,具体含义是[卷积核的高度,卷积核的宽度,图像通道数,卷积核个数],要求类型与参数input相同,有一个地方需要注意,第三维in_channels,就是参数input的第四维,这里是维度一致,不是数值一致

strides为卷积时在图像每一维的步长,这是一个一维的向量,长度为4,对应的是在input的4个维度上的步长

padding是string类型的变量,只能是"SAME","VALID"其中之一,这个值决定了不同的卷积方式,SAME代表卷积核可以停留图像边缘,VALID表示不能,更详细的描述可以参考http://blog.csdn.net/mao_xiao_feng/article/details/53444333

use_cudnn_on_gpu指定是否使用cudnn加速,默认为true

data_format是用于指定输入的input的格式,默认为NHWC格式

 

结果返回一个Tensor,这个输出,就是我们常说的feature map

 

tf.contrib.slim.conv2d,其函数定义如下:

convolution(inputs,

          num_outputs,

          kernel_size,

          stride=1,

          padding='SAME',

          data_format=None,

          rate=1,

          activation_fn=nn.relu,

          normalizer_fn=None,

          normalizer_params=None,

          weights_initializer=initializers.xavier_initializer(),

          weights_regularizer=None,

          biases_initializer=init_ops.zeros_initializer(),

          biases_regularizer=None,

          reuse=None,

          variables_collections=None,

          outputs_collections=None,

          trainable=True,

          scope=None):

inputs同样是指需要做卷积的输入图像

num_outputs指定卷积核的个数(就是filter的个数)

kernel_size用于指定卷积核的维度(卷积核的宽度,卷积核的高度)

stride为卷积时在图像每一维的步长

padding为padding的方式选择,VALID或者SAME

data_format是用于指定输入的input的格式

rate这个参数不是太理解,而且tf.nn.conv2d中也没有,对于使用atrous convolution的膨胀率(不是太懂这个atrous convolution)

activation_fn用于激活函数的指定,默认的为ReLU函数

normalizer_fn用于指定正则化函数

normalizer_params用于指定正则化函数的参数

weights_initializer用于指定权重的初始化程序

weights_regularizer为权重可选的正则化程序

biases_initializer用于指定biase的初始化程序

biases_regularizer: biases可选的正则化程序

reuse指定是否共享层或者和变量

variable_collections指定所有变量的集合列表或者字典

outputs_collections指定输出被添加的集合

trainable:卷积层的参数是否可被训练

scope:共享变量所指的variable_scope

 

在上述的API中,可以看出去除掉初始化的部分,那么两者并没有什么不同,只是tf.contrib.slim.conv2d提供了更多可以指定的初始化的部分,而对于tf.nn.conv2d而言,其指定filter的方式相比较tf.contrib.slim.conv2d来说,更加的复杂。去除掉少用的初始化部分,其实两者的API可以简化如下:

tf.contrib.slim.conv2d (inputs,

                num_outputs,[卷积核个数]

                kernel_size,[卷积核的高度,卷积核的宽度]

                stride=1,

                padding='SAME',

)

tf.nn.conv2d(

    input,(与上述一致)

    filter,([卷积核的高度,卷积核的宽度,图像通道数,卷积核个数])

    strides,

    padding,

)

可以说两者是几乎相同的,运行下列代码也可知这两者一致

import tensorflow as tf 

import tensorflow.contrib.slim as slim

 

x1 = tf.ones(shape=[1, 64, 64, 3]) 

w = tf.fill([5, 5, 3, 64], 1)

# print("rank is", tf.rank(x1))

y1 = tf.nn.conv2d(x1, w, strides=[1, 1, 1, 1], padding='SAME')

y2 = slim.conv2d(x1, 64, [5, 5], weights_initializer=tf.ones_initializer, padding='SAME')

 

 

with tf.Session() as sess: 

    sess.run(tf.global_variables_initializer()) 

    y1_value,y2_value,x1_value=sess.run([y1,y2,x1])

    print("shapes are", y1_value.shape, y2_value.shape)

    print(y1_value==y2_value)

    print(y1_value)

print(y2_value)

你可能感兴趣的:(TensorFlow,Python2/Python3)