tensorflow构造DNN识别cifar10记录1
引用tf的自带模块，直接读下载好的二进制数据，二进制数据自己去网上下。
import cifar10_inpute
引用tensorflow
import tensorflow as tf
创造一个tensorflow的内置queue，其长度为1.
q=tf.FIFOQueue(1,'string')
创造一个向q中加入元素的运算
init=q.enqueue_many((['数据文件的路径'，'数据文件的路径'，'数据文件的路径'],))
创造一个执行器
sess=tf.Session()
执行加入元素的操作，执行后q里就有文件路径了
sess.run(init)
建立算子，作用是调用cifar10_input里的一个读取信息的操作，返回一个对象result，此对象有几个参数，result.uint8image(高32,宽32，三个通道RGB）；label 10
result=cifar10_input.read_cifar10(q)
建立一个用来建立权重变量的函数
def weight_variable(shape):
initial=tf.truncated_normal(shape,stddev=0.1)
return tf.Variable(initial)
同上，建立偏执的
def bias_variable(shape):
initial=tf.constant(0.2,shape=shape)
return tf.Variable(initial)
同上，建卷积方式的算子，注意这里padding参数的意思是：当5x5卷积时，原来图像是32x32会变成28x28，padding参数是same时将在卷积前将图像扩大为36x36，补充的元素是0,这样卷积后图像大小仍旧是32x32.
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1])同上，建pool方式的算子
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
strides=[1, 2, 2, 1])【】弄简单一点，先弄成一层卷积层，一层pool，然后直接连全连接层，然后直接输出结果。【】
创建第一层卷积核的权重tensor，5x5是大小，3是通道，1是一个特征，你可以根据你电脑的性能设置很多个特征，也即是说卷积后乘以权重加到一起变成relu的输。
所谓的特征就是类似于图像处理中的filter办法，比如gabor、sober滤波器等，可以将图像中的边提取出来。
W_conv1 = weight_variable([5, 5, 3, 1])
b_conv1 = bias_variable([1])把图像转换成目标大小，并且转换格式为float
x_image=tf.to_float(tf.reshape(result.uint8image,[1,32,32,3]))
卷积与pool运算,最后输出[1,14,14,3]tensor。其中1是batch的大小，表示每次一张图片。
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)
h_pool1=max_pool_2x2(h_conv1)
接下来连接到全连接层，输入有14x14x3个元素，隐藏层神经元设置为100，我用的虚拟机，你可以多设置一点，那么此时权重为：
W_fc1 = weight_variable([14 * 14 * 3, 100])
b_fc1 = bias_variable([100])
把h_pool1的输出变成1维的，再连接到relu上，输出形状为100个输出，由于隐藏层神经元是100个。
h_pool2_flat = tf.reshape(h_pool1, [-1, 14x14x3])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)最后将隐藏层连接到输出层，输出层用softmax：
W_fc2 = weight_variable([100, 10])
b_fc2 = bias_variable([10])
y_conv=tf.nn.softmax(tf.matmul(h_fc1, W_fc2) + b_fc2)到这里网络的前向连接构造完毕，接下来是训练部分，采用cross_entropy代价函数。优化参数采样Adam模型。
cross_entropy = -tf.reduce_sum(result.label*tf.log(y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)——————————————————————————————————————————————————————————————————————————
运行以上代码，记得先要初始化变量！我就直接运行了，我执行一次就是训练一次。
sess.run(train_step)
结果我运行一下权重就都消失了，都变成0了，再运行就出错了。总结可能原因有两点：
（1）relu可能导致权重变成0
（2）不知道pool层是如何微分的
首先针对第二条，我测试一下pool层是如何微分的，经过思考和查阅资料，最后进行实验，得到以下结论：
在上面代码情况下，对h_conv1求梯度，利用tf.grandient函数求梯度，得到的梯度值基本上都是好几万。而对h_pool1层求梯度得到梯度是上一层的四分之一。
为什么是好几万？因为32x32x100=90000，基本上平均像素值是100，一共有32x32个像素值，所以梯度就是这些。而pool后是原来的1/4，这样一切就解释通了。
因为梯度很大，所以一次更新就把所有权重弄成负数了，然后就导致最后的结果，我们需要让梯度乘以比例的值小于当前权重值的百分之25，这样步长就比较小，
而不会一次性的就将权重弄成负数了。这也就是relu和sigmoid不同的地方。
————————————————————————————————————————————————————————————————————————
查找上文代码的问题，我认为权重消失是因为步长没有控制好，所以应该调整步长，于是先用函数求出各部分的梯度，观察梯度大小是否合适：
grad=tf.gradients(crossentropy,*****)
得到结果发现梯度都是0。接下来观察神经网络各层的输出情况，从第一层开始依次观察：
h_conv1层输出平均值是100多。
h_pool1层输出平均值是上一层的1/4
h_fc1输出平均值是20左右。
最后一层被归一化。
cross_entropy输出有时是0，有时是无穷大，有时是400左右的值。ylna+(1-y)ln(1-a)是cross_entropy的算法，a是神经网络输出值，若a是0或1都会导致其是无穷大。
求梯度情况记录：
h_conv1对W_conv1求导值大约为8W到10W
h_pool1对W_conv1求导值大约为上面的四分之一。这样求没意义，因为dy/dx=(dy/da)(da/dx)，所以要一部一部求导。
所以这里求导接下来应该是这样
h_fc1对W_conv1求导值大约为几十到几千
crossentropy对h_fc1求导值大约为-1到1，由此推出crossentropy对W_conv1求导值大约为两者相乘。
验证结果：
sess.run(tf.gradients(cross_entropy,W_conv1))
结果显示推理正确，其值也是几十到几千，那么其值最后将要乘以一个步长值然后与原W_conv1相减，这样的话很有可能直接就把
全部权重给减成负值，由此会导致以后无法训练。
因为权重的值大约是-1到1之间，那么我们需要让更新的值小于0.025，假设梯度最大是3000的话，0.025/3000即是步长。预计将
步长调整为此值以后将不会出现权重消失情况。
于是我将权重设置为0.000008，权重消失问题解。总结为：梯度的大小是一个波动的数值，尤其是前期可能会很大，所以现今训练多层神经网络并配有relu核对步长的选择一定要非常小心，在训练前一定要首先分别单独计算各层的可能最大梯度，最大梯度乘以步长不要超过权重的十分之一甚至更小。
--------------------——————————————————————————————————————————————————————————————
经过刚刚修改后，运行仍旧可能会导致权重全部消失情况，但tensorflow有一个函数功能是控制权重的更新量的，权重一次性的更新量不能超过或小于一定数值，接下来对网络添加此功能进行尝试。
cippp=tf.clip_by_value(weit,0.2,0.7)
weit是tensor，weit里的任意元素的值小于0.2则取值为0.2，大于0.7取值为0.69999999。
接下来，首先计算梯度，再对梯度进行操作，最后应用梯度到权重上。
创建更新权重算子
opt=tf.train.GradientDescentOptimizer(0.00008)
对weit进行计算其梯度
grads=opt.compute_gradients(cross_entropy,[W_conv1,b_conv1])
其中grads是一个列表，list的元素是元组，元组有两个元素分别是梯度与对应权重
用for循环对里面grad元素进行clip，然后放到新的grad1里
不要像我似得将最小值设置为正数，因为这样的话梯度永远是正的，那么权重就会一直减小，所以要设置成负
最后更新权重
applyy=opt.apply_gradients(grads1)
——————————————————————————————————————————————————————————————————————————
仍旧是不对，但是我发现几个问题，首先会产生nan的结果，而nan不是none，我以为它们是相同的，nan是计算不出来的意思。
而回顾网络的计算只有corss_entropy那块我不懂，首先看格式就有问题，图像的result.label是一个数字而不是一个[0,0,1,0.0.0.0...]这种格式的。
问了大神和查阅资料tf没有对单个元素进行操作的机制。所以解决思路是：
先用占位符号替代输入，然后在训练时同时将一个result的图和标签转化成array，再转换成想要的格式。再用feed给网络。
经过一系列的修改终于不出现nan了。接下来说明导致nan的原因。
逐步进行计算，因为交叉熵部分会对y_conv层进行求对数，对数输出不能为0，而有时因为计算机表示小数是有限的，若比此小数还小就会变成0，因此最好对y_conv先
进行clip操作，然后再进行计算，结果不再有nan出现。
——————————————————————————————————————————————
接下来对其求梯度，查看是否正常，因为我不知道clip后是否能正常求梯度。
求出梯度可以正常返回值。
然后接下来就是训练了
一开始不能训练，求梯度是0，我想了一宿也没想出来是为什么，后来第二天重启虚拟机再运行发现没问题了，所以tensorflow这个模块记得要把sess关闭，不一定重新运行
代码就会一切都初始化。
现在已经可以正常训练了，可以看到权重在每次迭代后都会发生变化。
——————————————————————————————————————————————————————————————————————————
接下来添加一个测试正确率代码模块
其中ttt4和ttt5里面各有500个bool类型数字，统计其中的trul数量即可以知道前500次训练和后500次训练的正确率，我计算两次的正确率分别是百分之11和百分之14.............
反正比百分之10高！
提高正确率部分请看下集继续