神经网络：Google可视化体验平台Tensorflow Playground

     谷歌推出了一个神经网络可视化教学平台“游乐场”Tensorflow Playground。通过浏览器就可以玩玩神经网络了！

那么，现在就把网址发给大家，http://playground.tensorflow.org，整体来看它是长这个样子的：

首先让我们来看看数据。在这个游乐场中，我们有4种不同形态的数据可以玩：

每组数据，都是不同形态分布的一群点。每一个点，都与生俱来了2个特征：x1和x2，表示点的位置。而我们数据中的点有2类：橙色和蓝色。我们的神经网络的目标，就是通过训练，知道哪些位置的点是橙色、哪些位置的点是蓝色。

如果橙色是橙子，蓝色是蓝莓。假设我们有2000个散落在各处的橙子和蓝莓。前1000个，我们知道坐标（1，1）的是蓝莓，（2，2）的是橙子，（0.5，0.5）的是蓝莓等等。我们要用这些信息来训练我们的神经网络，让它能够准确地预测出后1000个哪些是橙子、哪些是蓝莓。

看上面的4组数据，我们会发现，前3中都能相对简单地区分开，而最后一组螺旋数据会是最难的。

Tensorflow游乐场中的数据十分灵活。我们可以调整noise（干扰）的大小，还可以改变训练数据和测试数据的比例多少。下图是不同noise的数据分布。

当我们把每一个数据点的信息喂给机器学习系统时，我们需要做feature

extraction，也就是特征提取。如果我们真的是在区分蓝莓和橙子的话，大小、颜色等等都会是我们的特征。而这里，每一个点都有x1和x2两个特征。除此之外，由这两个特征还可以衍生出许多其他特征：

抽象来说，我们的机器学习classifier（分类器）其实是在试图画一条或多条线。如果我们能够100％正确地区分蓝色和橙色的点，蓝色的点会在线的一边，橙色的会在另一边。

上面这些图其实非常的直观。第一张图中，如果x1作为我们的特征，我们其实就是在画一条和x1轴垂直的线。当我们改变参数时，其实就是在将这条线左右移动。其他的特征也是如此。

很容易可以看出，我们需要智能地结合这其中一种或多种的特征，才能够成功地将蓝色点和橙色点分类。这样的feature extraction，其实往往是机器学习应用中最难的部分。好在我们有神经网络，它能够帮我们完成大部分的任务。

如果我们选定x1和x2作为特征，我们神经网络的每一层的每个神经元，都会将它们进行组合，来算出结果：

而下一层神经网络的神经元，会把这一层的输出再进行组合。组合时，根据上一次预测的准确性，我们会通过back propogation给每个组合不同的weights（比重）。这里的线越粗，就表示比重越大：

下面就让我们用最难的螺旋形数据，来试试这个神经网络的表现吧！

在神经网络出现前，我们往往会竭尽所能地想出尽可能好的特征，把它们全都喂给系统。而系统会是个十分浅的系统，往往只有一层。用这样的方法来完成分类。

让我们先来实验传统的方法。在这里，我们将所有能够想到的7个特征都输入系统，并选择只有1层的神经网络：

最后的结果是这样的，可以看出我们的单层神经系统几乎完美地分离出了橙色点和蓝色点：

接下来，让我们来体验神经网络真正的魔法。神经网络较大的魔力，就在于我们根本不需要想出各种各样的特征，用来输入给机器学习的系统。我们只需要输入最基本的特征x1, x2, 只要给予足够多层的神经网络和神经元，神经网络会自己组合出最有用的特征。

在这次试验中，我们只输入x1, x2，而选择1个6层的，每层有8个神经元的神经网络：

最后的结果是这样的。我们发现，通过增加神经元和神经网络的层数，即使没有输入许多特征，我们也能够成功地分类：

神经网络的伟大之处就在于此。当我们在解决分类橙色点和蓝色点这样的简单问题时，想出额外的特征似乎并不是难事。但是，当我们要处理的问题越来越复杂，想出有用的特征就变成了最最困难的事。比如说，当我们需要识别出哪张图片是猫，哪张图片是狗时，哪些特征是真正有效的呢？

而当我们有了神经网络，我们的系统自己就能学习到哪些特征是有效的、哪些是无效的，这就大大提高了我们解决复杂机器学习问题的能力。