【MXNet学习2】Symbol -神经网络图和自动区分

1、符号编程

MXNet提供了Symbol API，一个用于符号编程的接口。所谓符号编程，相比于传统的一步步计算，我们首先会定义一个计算图。计算图中包含规定的输入和输出的占位符。然后编译它，并与NDArray绑定起来进行计算。
符号编程的另一个优点是我们可以在使用它之前就优化。例如，当以指令式编程计算一个表达式时，我们不知道下一步需要什么数据。但是在符号编程里，我们已经预先定义好了需要的输出。这意味着在一边计算的时候，可以一边将中间步骤的内存回收掉。并且相同的网络下，Symbol API占用更少的内存。参见How To以及Architecture 部分。

2、Symbol基本组成

2.1、基础运算符

这个例子创建了一个简单的表达式：a+b。首先，使用mx.sym.Variable创建两个占位符，并命名为a和b。然后，用+运算符得到期望的Symbol。我们并不一定需要为变量命名，MXNet会自动给它生成一个独一无二的名字。比如例子中的c。

import mxnet as mx
a = mx.sym