权重衰减 weight_decay 是个啥

权重衰减是一种用于训练机器学习模型以防止过度拟合的正则化技术。权重衰减可以应用于模型的参数，以鼓励模型学习更简单和更通用的模式，而不是过度拟合训练数据。这有助于提高模型在未见数据上的性能，并使其对输入的变化更加稳健。