为什么随着网络的增加,传统的多层网络结构的非线性表达很难去表示恒等映射,模型会出现网络退化问题,什么是恒等映射!!
文章目录一、什么是恒等映射二、对于深度神经网络,保持恒等映射并不是必需的,三、恒等映射可以作为一个简单的基准任务来评估和分析网络的一些重要性质一、什么是恒等映射恒等映射指的是输入和输出完全相同的映射关系,也就是y=x。它是一个线性函数,没有任何非线性变换。而深层神经网络的每一层都带有非线性激活函数,如ReLU函数等。这就使得深层网络很难精确学习到一个恒等映射。原因如下:每一层的非线性激活都会对输入