激活函数为什么可以增加非线性？

无极生太极，太极生两仪，……，只要k的变化大于等于2，就能演化出无限种可能；

前言：

· 线性基函数无论组合多少次结果都是直线（秩为1）：

        每条直线每个x位置的k是相等的，叠加k1+k2+k3……=K，最后是固定的，和x的位置无关，还是直线（kx永远拟合不出x2）；

        kx线性函数不是完备正交函数集，不能作为完备正交基的成员，所以无法组成任意形式的函数。kx只要乘以一个系数就可以变成其他函数，但是cos(nΩt)乘上系数不会变成其他正交基；

· 非线性基函数，可以组合出任意函数，比如三角函数集（秩为无穷）：

        每条非直线在每个x位置k不同，所以在叠加后每个x位置的k也不同，所以可以构建任意的非线性，只要k有了差异化，哪怕只有两种k（relu），也能组合出无限种可能；

· 可以想成网络在传递k（斜率），如果是线性，那激活函数的k就与x无关，如果是非线性，激活函数k就与x有关了，激活后的k与x有关，多个神经元激活后的k组合可能性就变多了，x变化k的组合也在变化，k组合变化的配比还与下一层的w有关（但配比或者幅值不是非线性的原因）；

解答：
· 解答这个问题可分成三个小问题：

1. 线性和非线性的概念：

                ……

    2. 神经网络怎么应用非线性：

        神经元输出作为非线性激活函数输入，利用非线性特性相当于生成了一个非线性基函数，每个神经元接激活函数后都相当于一个基函数，无数个基函数组合叠加可以生成任意的函数；

        w、b，代表了一个小波的属性，w对基函数伸缩，b对基函数平移，x = wx + b是变换后的x，经过非线性激活后就是一个小波，和小波变换一模一样，神经网络其实就是小波的叠加，具体解释如下(w是上一层小波的系数，也是这一层小波的伸缩系数，b是上一层小波的直流分量，也是这一层小波的平移系数)：

一层函数分解：

    3. 各个非线性激活函数的特性：

                ……

训练神经网络其实就相当于训练一个一个的正交基函数的组合；