Tensorflow中的CNN layer参数（即用tensorflow框架实现简单CNN）

这篇文章主要以LeNet在tensorflow中的实践作为基础进行讲解。主要是一些基本代码的分析。至于LeNet这个网络的详解，可以参考：
LeNet详解

一、tensorflow中提供的函数

对于CNN网络来说，tensorflow基本的两个提供的函数分别是： tf.nn.conv2d()和
tf.nn.bias_add() ，那么用这两个基本的函数来构造LeNet，那么先来看看整体的架构是怎样的？（python实现的）

# Output depth
k_output = 64

# Image Properties
image_width = 10
image_height = 10
color_channels = 3

# Convolution filter
filter_size_width = 5
filter_size_height = 5

# Input/Image
input = tf.placeholder(
    tf.float32,
    shape=[None, image_height, image_width, color_channels])

# Weight and bias
weight = tf.Variable(tf.truncated_normal(
    [filter_size_height, filter_size_width, color_channels, k_output]))
bias = tf.Variable(tf.zeros(k_output))

# Apply Convolution
conv_layer = tf.nn.conv2d(input, weight, strides=[1, 2, 2, 1], padding='SAME')
# Add bias
conv_layer = tf.nn.bias_add(conv_layer, bias)
# Apply activation function
conv_layer = tf.nn.relu(conv_layer)

需要注意的是里面的一些参数的构造，比如input里面的shape = shape=[None, image_height, image_width, color_channels]，但是在weights里面又是不一样的。解析如下：

同时对于卷积层输入时m*n*k ,然后给出filter的大小，求出输出数据大小的具体计算如下：

其中的pading的p可能很多人不理解，其实在下面的公式中，w_out公式中的p对应的是在padding参数等于SAME的情况下在原图像中的宽度加的像素值，因为会涉及到两边，所以乘以2.高度同理。
在TensorFlow中不同的方式求解formula如下：和以上方法有一定差别

二、LeNet在tensorflow的实现

实现代码如下：

from tensorflow.contrib.layers import flatten
keep_prob = tf.placeholder(tf.float32) 
X_train,y_train = shuffle(X_train,y_train)
def LeNet(x):
    mu = 0
    sigma = 0.1

    conv1_W = tf.Variable(tf.truncated_normal(shape=(5,5,1,6),mean=mu,stddev = sigma))
    conv1_b = tf.Variable(tf.zeros(6))
    conv1 = tf.nn.conv2d(x,conv1_W,strides=[1,1,1,1],padding = 'VALID') + conv1_b

    conv1 = tf.nn.relu(conv1)
    conv1 = tf.nn.dropout(conv1,keep_prob)
    conv1 = tf.nn.max_pool(conv1,ksize = [1,2,2,1],strides=[1,2,2,1],padding='VALID')

    # SOLUTION: Layer 2: Convolutional. Output = 10x10x16.
    conv2_W = tf.Variable(tf.truncated_normal(shape=(5, 5, 6, 16), mean = mu, stddev = sigma))
    conv2_b = tf.Variable(tf.zeros(16))
    conv2   = tf.nn.conv2d(conv1, conv2_W, strides=[1, 1, 1, 1], padding='VALID') + conv2_b

    # SOLUTION: Activation.
    conv2 = tf.nn.relu(conv2)
    conv2 = tf.nn.dropout(conv2,keep_prob)
    # SOLUTION: Pooling. Input = 10x10x16. Output = 5x5x16.
    conv2 = tf.nn.max_pool(conv2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='VALID')

    # SOLUTION: Flatten. Input = 5x5x16. Output = 400.
    fc0   = flatten(conv2)

    # SOLUTION: Layer 3: Fully Connected. Input = 400. Output = 120.
    fc1_W = tf.Variable(tf.truncated_normal(shape=(400, 120), mean = mu, stddev = sigma))
    fc1_b = tf.Variable(tf.zeros(120))
    fc1   = tf.matmul(fc0, fc1_W) + fc1_b

    # SOLUTION: Activation.
    fc1    = tf.nn.relu(fc1)
    #changed that
    fc1 = tf.nn.dropout(fc1,keep_prob)
    # SOLUTION: Layer 4: Fully Connected. Input = 120. Output = 84.
    fc2_W  = tf.Variable(tf.truncated_normal(shape=(120, 84), mean = mu, stddev = sigma))
    fc2_b  = tf.Variable(tf.zeros(84))
    fc2    = tf.matmul(fc1, fc2_W) + fc2_b

    # SOLUTION: Activation.
    fc2    = tf.nn.relu(fc2)
    #changed that
    fc2 = tf.nn.dropout(fc2,keep_prob)
    # SOLUTION: Layer 5: Fully Connected. Input = 84. Output = 10.
    fc3_W  = tf.Variable(tf.truncated_normal(shape=(84, 43), mean = mu, stddev = sigma))
    fc3_b  = tf.Variable(tf.zeros(43))
    logits = tf.matmul(fc2, fc3_W) + fc3_b

    return logits

拿第一层卷积层来说：刚开始输入是32*32*1（灰度图），经过第一层之后变成了28*28*16，其中28的大小计算就是 ceil(float(input-filter+1)/float(stride))
对于激活函数relu，其实就是处理掉一些信号弱的部分。
对于接下来的dropout，其实就是在为了防止过拟合的步骤，在test的时候随机选取一些网络结构的节点参与操作。
接下来紧接着的pooling操作，其实就是实现降维，一个博客里面的图很好的解释了这个操作。pooling解释

以上大概就是LeNet在tensorflow上的实现，接下来将实践用keras这个高度封装的库来实现LeNet。