深度学习机器学习笔试面试题——激活函数

深度学习机器学习笔试面试题——激活函数

提示：重要的深度学习知识点，说不定大厂就会考

说一下你了解的激活函数？分别应用于什么场景？
说说你平时都用过什么激活函数，各自什么特点？
写一下leaky ReLU的公式，跟ReLU比有什么优势？
了解ReLU6吗？
sigmoid有什么缺点，有哪些解决办法？
relu在零点可导吗，不可导如何进行反向传播？
推导sigmoid求导公式
Softmax公式，溢出怎么处理
Softmax公式求导

---

说一下你了解的激活函数？分别应用于什么场景？说说你平时都用过什么激活函数，各自什么特点？

为什么需要激活函数？

为了把线性问题，非线性化，解决非线性问题！
下图是神经元模型：


（1）首先是sigmoid函数，




都趋向0了，我们神经网络反向传播参数的时候参数就不更新了呀，不更新就代表网络没有继续学习了，这就是梯度消失。

（2）继续tanh函数，可以看到函数曲线：

输出范围成了[-1,1]，期望（均值）为0。梯度消失的问题同sigmoid。

（3）后来发展出的ReLU函数改进了梯度消失的问题，函数如图：

可以看到，ReLU在大于0时，斜率固定，这有助于网络训练。再看看梯度函数：

ReLU梯度稳定，值还比sigmoid大，所以可以加快网络训练。
不过ReLU的缺点就是小于0的值不再得到响应，这又不利于网络训练。
我们在输入图像时就要注意，应该使用Min-Max归一化，而不能使用Z-score归一化。

（4）大家可以注意到ReLU的正值输出为**[0,无穷大]，
关键是我们计算机内存有限，能存储无穷大的数吗？
当然不能，所以将ReLU应用到实际中时需要限定输出的最大值，所以就成了ReLU6**了，如图：

就是因为最大输出限定在6，所以称为ReLU6了。
要是输出限定为豆芽，就应该叫ReLU-豆芽，就是这样，自己创造的东西，想怎么皮就怎么皮。哈哈
（5）然后解决ReLU的“死区”问题，Leaky ReLU函数如图：

可以看到，0的左边存在斜率，那么负值也可以得到响应，有利于网络学习到更多的信息。
**但是呢这个超参数不好设定，**要根据不同的任务手动设置不同的参数。
（6）Mish函数，如图：
可以看出，在负值中，允许有一定的梯度流入。
（7）然后就有了参数化ReLU，让网络自己学习到超参数。
——
一步一步发展来的
（8）然后是随机化ReLU，每个层都有自己的阿尔法参数，它们具有一定的分布，我们可以将其限定为均值分布或高斯分布，如图：

（9）ELU函数，如图：

引入指数运算：缺点计算量大。
（10）Maxout。
Maxout是深度学习网络中的一层网络，就像池化层、卷积层一样等，我们可以把maxout 看成是网络的激活函数层。如图：

从图中可以看出，Maxout就像一个层一样，k个节点就对应k个参数。这个层最终表现为一个分段函数。

写一下leaky ReLU的公式，跟ReLU比有什么优势？

了解ReLU6吗？

sigmoid有什么缺点，有哪些解决办法？

relu在零点可导吗，不可导如何进行反向传播？

推导sigmoid求导公式

Softmax公式，溢出怎么处理

Softmax公式求导

---

总结

提示：重要经验：

1）有事没事看看这些深度学习机器学习的基础知识点，说不定大厂笔试面试都会考
2）神的学习激活函数大概9种，每一种都是针对性改进前面的方案，有优点，有缺点
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。