L1-Loss (MAE) 中位数,L2-Loss (MSE) 算术平均值

(一) L1-Loss、MAE、平均绝对误差

误差函数
L ( x ) = ∑ i ∣ x − s i ∣ L(x) = \sum_i |x-s_i| L(x)=ixsi其中 x x x为估计值, s i s_i si为样本值
x x x求导找驻点
d L d x = ∑ i s g n ( x − s i ) = 0 ( 1 ) \frac{\mathrm dL}{\mathrm dx}=\sum_i sgn(x-s_i)=0 \quad\quad\quad (1) dxdL=isgn(xsi)=0(1)其中 s g n sgn sgn为符号函数:
s g n ( x ) = { + 1 , x > 0 0 , x = 0 − 1 , x < 0 sgn(x) = \left\{ \begin{array}{lr} +1, & x\gt 0 \\ 0, & x = 0 \\ -1, & x\lt 0\\ \end{array} \right. sgn(x)=+1,0,1,x>0x=0x<0
所以要使得(1)式成立,则估计值 x x x取所有样本的中位数即可

(二) L2-Loss、MSE、均方误差

误差函数
L ( x ) = 1 2 ∑ i = 1 n ∥ x − s i ∥ 2 2 = 1 2 ∑ i = 1 n ( x − s i ) 2 L(x) = \frac{1}{2}\sum_{i=1}^n \|x-s_i\|_2^2=\frac{1}{2}\sum_{i=1}^n (x-s_i)^2 L(x)=21i=1nxsi22=21i=1n(xsi)2其中 x x x为估计值, s i s_i si为样本值
x x x求导找驻点
d L d x = ∑ i = 1 n ( x − s i ) = 0 ( 2 ) \frac{\mathrm dL}{\mathrm dx}=\sum_{i=1}^n (x-s_i)=0 \quad\quad\quad (2) dxdL=i=1n(xsi)=0(2)
n x − ∑ i = 1 n s i = 0 x = 1 n ∑ i = 1 n s i nx-\sum_{i=1}^n s_i=0 \\ x= \frac{1}{n}\sum_{i=1}^n s_i nxi=1nsi=0x=n1i=1nsi
即,要使得(2)式成立,则估计值 x x x取所有样本的算术平均值即可

你可能感兴趣的:(L1-Loss (MAE) 中位数,L2-Loss (MSE) 算术平均值)