非线性激活函数的作用

一直有个疑问 为什么需要非线性激活函数？
如果没有激活函数g(z),即g（z）=z，就叫线性激活函数，或者叫恒等激活函数，如图所示：

那么不加非线性函数和原来有什么区别呢？

可以看到没有非线性激活函数后,化简第2层的输出结果：
a2=w2 * a1+b2
=w2 * (w1 * x+b1)
=(w2 * w1)x+(w2 * b1+b2)
=w' * x+b'
第2层的输出结果依然是线性表达式，与第一层输出结果相比只是参数不同，这里的参数是 w'和b'，即使网络加到100层也依然是线性表达式，这就是没有激活函数的结果。

参考：

吴恩达深度学习：
https://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702018