正则化项

名称 说明 缺点
L0 让所有的权重w更有稀疏性，即w=0的数量尽量多 难以收敛
L1 让所有的权重w更有稀疏性，即w=0的数量尽量多，会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0

L2 L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。