正则化的认识

        

        正则化是一种用于解决过拟合问题的机器学习方法,过拟合模型是指机器学习模型在训练数据上表现良好,但是测试数据上表现不佳的情况,正则化就是通过向模型的损失函数中加入“惩罚项”以便于防止过拟合。

        常用的正则化方法有L1正则化,L2正则化,Dropout和批标准化

        L1正则化:将模型权重的绝对值之和加入损失函数中

        L2正则化:将模型权重的平方和加入损失函数中

        Dropout:在训练过程中随机“删除”网络的一些神经元,从而防止过拟合

        批标准化:在训练过程中对每个批次的输入数据进行归一化,从而防止梯度爆炸或消失

损失函数详见浅谈对损失函数的认识(基础)_distance424的博客-CSDN博客

你可能感兴趣的:(人工智能,深度学习)