L1、L2损失 和 L1、L2正则化

损失函数：

L1损失：即平均绝对误差（MAE）：MAE = 1/n*∑  | yi - yi^ |

L2损失：即均方误差（MSE）：MSE = 1/n*∑ (yi - yi^ )^2

 

正则化：

L1正则化：即对权重矩阵的每个元素绝对值求和，λ * ||W||

L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和），1/2 * λ * ||W||^2

注意：正则化项不需要求平均数，因为权重矩阵和样本数量无关，只是为了限制权重规模。