2016.3.29 一个简单的视觉化证明神经网络可以拟合任意函数

一个简单的视觉化证明神经网络可以拟合任意函数

对于一个神经网络来说，已经证明了的就是神经网络确实可以拟合任意函数，但是怎么找到拟合的函数这是个问题啊。在这里采用一种简单的方法来进行一个比较直观的介绍。原文见neuralnetworksanddeeplearning.com/chap4.html。

首先我们有了的是一个sigmoid函数，对于这个函数来说，我们要做的一件事就是形成一个一个的小冲击，要知道我们如果可以控制一个一个的小冲击，那么这样的情况下就能够通过不断的组合这些小冲击来近似的拟合出一条函数。

对于sigmoid函数来说，w控制着的就是曲线的斜率，如果w特别大，那么就能够近似成为一个阶跃函数，而b则控制着到底在哪个位置开始进行阶跃，两个反向的阶跃函数的组合就能够组合成为一个小的冲击，于是我们有了这个东西之后就能够开始造世界了。就像是minecraft，你有了石块，就可以建造各种各样的石头房子了。

对于高维的，那么就通过首先组合出一个小金字塔，然后把周围的都去掉，就剩下一个小尖尖就可以了。然后就用这个来组合出高维的新世界。