TensorFlow－3: 用 feed-forward neural network 识别数字

今天继续看 TensorFlow Mechanics 101：
https://www.tensorflow.org/get_started/mnist/mechanics

完整版教程可以看中文版tutorial：
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_tf.html

这一节讲了使用 MNIST 数据集训练并评估一个简易前馈神经网络（feed-forward neural network）

input，output 和前两节是一样的：即划分数据集并预测图片的 label

data_sets.train 55000个图像和标签（labels），作为主要训练集。
data_sets.validation    5000个图像和标签，用于迭代验证训练准确度。
data_sets.test  10000个图像和标签，用于最终测试训练准确度（trained accuracy）。

主要有两个代码：

mnist.py
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist.py

• 构建一个全连接网络，由 2 个隐藏层，1 个 `softmax_linearv 输出构成
• 定义损失函数，用 `cross entropyv
• 定义训练时的优化器，用 GradientDescentOptimizer
• 定义评价函数，用 tf.nn.in_top_k

**fully_connected_feed.py **
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/fully_connected_feed.py

• 向 placeholder_inputs 传入 batch size，得到 image 和 label 的两个placeholder
• 定义生成 feed_dict 的函数，key 是 placeholders，value 是 data
• 定义 do_eval 函数，每隔 1000 个训练步骤，就对模型进行以下评估，分别作用于训练集、验证集和测试集
• 训练时：
  • 导入数据
  • 得到 image 和 label 两个 placeholder
  • 传入 mnist.inference 定义的 NN, 得到 predictions
  • 将 predictions 传给 mnist.loss 计算 loss
  • loss 传给 mnist.training 进行优化训练
  • 再用 mnist.evaluation 评价预测值和实际值

代码中涉及到下面几个函数：

with tf.Graph().as_default():
即所有已经构建的操作都要与默认的 tf.Graph 全局实例关联起来，tf.Graph 实例是一系列可以作为整体执行的操作

summary = tf.summary.merge_all()：
为了释放 TensorBoard 所使用的 events file，所有的即时数据都要在图表构建时合并至一个操作 op 中，每次运行 summary 时，都会向 events file 中写入最新的即时数据

summary_writer = tf.summary.FileWriter(FLAGS.log_dir, sess.graph)：
用于写入包含了图表本身和即时数据具体值的 events file。

saver = tf.train.Saver()：
就是向训练文件夹中写入包含了当前所有可训练变量值 checkpoint file

with tf.name_scope('hidden1'):
主要用于管理一个图里面的各种 op，返回的是一个以 scope_name 命名的 context manager，一个 graph 会维护一个 name_space 的堆，实现一种层次化的管理，避免各个 op 之间命名冲突。例如，如果额外使用 tf.get_variable() 定义的变量是不会被 tf.name_scope() 当中的名字所影响的

tf.nn.in_top_k(logits, labels, 1)：
意思是在 K 个最有可能的预测中如果可以发现 true，就将输出标记为 correct。本文 K 为 1，也就是只有在预测是 true 时，才判定它是 correct。

---

推荐阅读 历史技术博文链接汇总
http://www.jianshu.com/p/28f02bb59fe5
也许可以找到你想要的