吴恩达深度学习笔记(58)-深度学习框架Tensorflow

TensorFlow

有很多很棒的深度学习编程框架，其中一个是TensorFlow，很期待帮助你开始学习使用TensorFlow，我想在这个笔记中向你展示TensorFlow程序的基本结构，然后让你自己练习，学习更多细节

先提一个启发性的问题，假设你有一个损失函数J需要最小化，在本例中，我将使用这个高度简化的损失函数，Jw=w^{2-10w+25，这就是损失函数，也许你已经注意到该函数其实就是(w-5)}2，如果你把这个二次方式子展开就得到了上面的表达式，所以使它最小的w值是5，但假设我们不知道这点，你只有这个函数，我们来看一下怎样用TensorFlow将其最小化，因为一个非常类似的程序结构可以用来训练神经网络。

其中可以有一些复杂的损失函数J(w,b)取决于你的神经网络的所有参数，然后类似的，你就能用TensorFlow自动找到使损失函数最小的w和b的值。但让我们先从左边这个更简单的例子入手。

我在我的Jupyter notebook中运行Python，

import numpy as np
import tensorflow as tf
#导入TensorFlow
w = tf.Variable(0,dtype = tf.float32)
#接下来，让我们定义参数w，在TensorFlow中，你要用tf.Variable()来定义参数
#然后我们定义损失函数：
cost = tf.add(tf.add(w**2,tf.multiply(- 10.,w)),25)
#然后我们定义损失函数J
#然后我们再写：
train = tf.train.GradientDescentOptimizer(0.01).minimize(cost)
#(让我们用0.01的学习率，目标是最小化损失)。
#最后下面的几行是惯用表达式:
init = tf.global_variables_initializer()
session = tf.Sessions()#这样就开启了一个TensorFlow session。
session.run(init)#来初始化全局变量。
#然后让TensorFlow评估一个变量，我们要用到:
session.run(w)
#上面的这一行将w初始化为0，并定义损失函数，我们定义train为学习算法，它用梯度下降法优化器使损失函数最小化，但实际上我们还没有运行学习算法，所以#上面的这一行将w初始化为0，并定义损失函数，我们定义train为学习算法，它用梯度下降法优化器使损失函数最小化，但实际上我们还没有运行学习算法，所以session.run(w)评估了w，让我：：
print(session.run(w))
#所以如果我们运行这个，它评估w等于0，因为我们什么都还没运行。
#现在让我们输入：
session.run(train)，它所做的就是运行一步梯度下降法。
#接下来在运行了一步梯度下降法后，让我们评估一下w的值，再print：
print(session.run(w))
#在一步梯度下降法之后，w现在是0.1。

现在我们运行梯度下降1000次迭代：

这是运行了梯度下降的1000次迭代，最后w变成了4.99999，记不记得我们说(w-5)^2最小化，因此w的最优值是5，这个结果已经很接近了。

希望这个让你对TensorFlow程序的大致结构有了了解，当你做编程练习，使用更多TensorFlow代码时，我这里用到的一些函数你会熟悉起来，这里有个地方要注意，w是我们想要优化的参数，因此将它称为变量，注意我们需要做的就是定义一个损失函数，使用这些add和multiply之类的函数。

TensorFlow知道如何对add和mutiply，还有其它函数求导，这就是为什么你只需基本实现前向传播，它能弄明白如何做反向传播和梯度计算，因为它已经内置在add，multiply和平方函数中。

对了，要是觉得这种写法不好看的话，TensorFlow其实还重载了一般的加减运算等等，因此你也可以把cost写成更好看的形式，把之前的cost标成注释，重新运行，得到了同样的结果。

一旦w被称为TensorFlow变量，平方，乘法和加减运算都重载了，因此你不必使用上面这种不好看的句法。

TensorFlow还有一个特点，我想告诉你，那就是这个例子将w的一个固定函数最小化了。如果你想要最小化的函数是训练集函数又如何呢？不管你有什么训练数据x，当你训练神经网络时，训练数据x会改变，那么如何把训练数据加入TensorFlow程序呢？

我会定义x，把它想做扮演训练数据的角色，事实上训练数据有x和y，但这个例子中只有x，把x定义为：

x = tf.placeholder(tf.float32,[3,1])，让它成为[3,1]数组，我要做的就是，因为cost这个二次方程的三项前有固定的系数，它是w^2+10w+25，我们可以把这些数字1，-10和25变成数据，我要做的就是把cost替换成：

cost = x[0][0]*w**2 +x[1][0]*w + x[2][0]，

现在x变成了控制这个二次函数系数的数据，这个placeholder函数告诉TensorFlow，你稍后会为x提供数值。

让我们再定义一个数组，coefficient = np.array([[1.],[-10.],[25.]])，这就是我们要接入x的数据。最后我们需要用某种方式把这个系数数组接入变量x，做到这一点的句法是，在训练这一步中，要提供给x的数值，我在这里设置：

feed_dict = {x:coefficients}

我们重新运行它，希望得到和之前一样的结果。

现在如果你想改变这个二次函数的系数，假设你把：

coefficient = np.array([[1.],[-10.],[25.]])

改为：

coefficient = np.array([[1.],[-20.],[100.]])

现在这个函数就变成了(w-10)^{2，如果我重新运行，希望我得到的使(w-10)}2最小化的w值为10，让我们看一下，很好，在梯度下降1000次迭代之后，我们得到接近10的w。

在你做编程练习时，见到更多的是，TensorFlow中的placeholder是一个你之后会赋值的变量，这种方式便于把训练数据加入损失方程，把数据加入损失方程用的是这个句法，当你运行训练迭代，用feed_dict来让x=coefficients。如果你在做mini-batch梯度下降，在每次迭代时，你需要插入不同的mini-batch，那么每次迭代，你就用feed_dict来喂入训练集的不同子集，把不同的mini-batch喂入损失函数需要数据的地方。

希望这让你了解了TensorFlow能做什么，让它如此强大的是，你只需说明如何计算损失函数，它就能求导，而且用一两行代码就能运用梯度优化器，Adam优化器或者其他优化器。

http://p1.pstatp.com/large/pgc-image/1188f51e5ed247bab6a23b491844fc52
这还是刚才的代码，稍微整理了一下，尽管这些函数或变量看上去有点神秘，但你在做编程练习时多练习几次就会熟悉起来了。

还有最后一点我想提一下，这三行（蓝色大括号部分）在TensorFlow里是符合表达习惯的，有些程序员会用这种形式来替代，作用基本上是一样的。

但这个with结构也会在很多TensorFlow程序中用到，它的意思基本上和左边的相同，但是Python中的with命令更方便清理，以防在执行这个内循环时出现错误或例外。所以你也会在编程练习中看到这种写法。那么这个代码到底做了什么呢？让我们看这个等式：

cost = x[0][0]*w**2 +x[1][0]*w + x[2][0]#(w-5)**2

TensorFlow程序的核心是计算损失函数，然后TensorFlow自动计算出导数，以及如何最小化损失，因此这个等式或者这行代码所做的就是让TensorFlow建立计算图，计算图所做的就是取x[0][0]，取w，然后将它平方，然后x[0][0]和w^{2相乘，你就得到了x[0][0]*w}2，以此类推，最终整个建立起来计算cost=[0][0]*w**2+x[1][0]*w+x[2][0]，最后你得到了损失函数。

TensorFlow的优点在于，通过用这个计算损失，计算图基本实现前向传播，TensorFlow已经内置了所有必要的反向函数，回忆一下训练深度神经网络时的一组前向函数和一组反向函数，而像TensorFlow之类的编程框架已经内置了必要的反向函数，这也是为什么通过内置函数来计算前向函数，它也能自动用反向函数来实现反向传播，即便函数非常复杂，再帮你计算导数，这就是为什么你不需要明确实现反向传播，这是编程框架能帮你变得高效的原因之一。

如果你看TensorFlow的使用说明，我只是指出TensorFlow的说明用了一套和我不太一样的符号来画计算图，它用了x[0][0]，w，然后它不是写出值，想这里的w^2，TensorFlow使用说明倾向于只写运算符，所以这里就是平方运算，而这两者一起指向乘法运算，以此类推，然后在最后的节点，我猜应该是一个将x[2][0]加上去得到最终值的加法运算。

我认为计算图用第一种方式会更容易理解，但是如果你去看TensorFlow的使用说明，如果你看到说明里的计算图，你会看到另一种表示方式，节点都用运算来标记而不是值，但这两种呈现方式表达的是同样的计算图。

在编程框架中你可以用一行代码做很多事情，例如，你不想用梯度下降法，而是想用Adam优化器，你只要改变这行代码，就能很快换掉它，换成更好的优化算法。

所有现代深度学习编程框架都支持这样的功能，让你很容易就能编写复杂的神经网络。