pytorch系列6 -- activation_function 激活函数 relu, leakly_relu, tanh, sigmoid及其优缺点
主要包括:为什么需要非线性激活函数?常见的激活函数有哪些?python代码可视化激活函数在线性回归中的变现pytorch激活函数的源码为什么需要非线性的激活函数呢?只是将两个或多个线性网络层叠加,并不能学习一个新的东西,接下来通过简单的例子来说明一下:假设输入xxx第一层网络参数:w1=3,b1=1w_1=3,b_1=1w1=3,b1=1第二层网络参数:w2=2,b2=2w_2=2,b_2=2w2