ReLU深度网络能逼近任意函数的原因

今天读了一遍谷歌大脑工程师Eric Jang的一个解答，想把这个知识与大家分享！最近也发现，有很多牛人喜欢在博客中分享DL的相关知识，所以个人感觉有空可以在博客中度阅读一些相关内容，对自己基础和深度了解有很大的帮助，也在此感谢那些为DL&ML默默共享的大牛们，让我们一起努力学习！！！那就不多说了，开始对这个话题的理解。嘿嘿！

有很多人问：为什么ReLU深度网络能逼近任意函数？

对此，其有深入见解，但是在此他是简单，并用最少的数学形式来解释这个问题。ReLU其实是分段线性的，所以有人会质疑，对于一个固定大小的神经网络，ReLU网络可能不具有更平滑+有界的激活函数（如tanh）的表达。

因为他们学习非平滑函数，ReLU网络应该被解释为以分段线性方式分离数据，而不是实际上是一个“真实”函数近似。 在机器学习中，人们经常试图从有限离散数据点（即100K图像）的数据集中学习，并且在这些情况下，只需学习这些数据点的分隔就足够了。考虑二维模数运算符，即：

vec2 p = vec2(x,y) // x,y are floats 
    vec2 mod(p,1) {
     return vec2(p.x % 1, p.y % 1)
    }

mod函数的输出是将所有2D空间