数据的平滑处理函数——log1p和exmp1

参考: https://blog.csdn.net/qq_36523839/article/details/82422865

          https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.log1p.html

数据平滑处理 -- log1p( ) 和 exmp1( )

1.  数据预处理时首先可以对偏度比较大的数据用og1p函数进行转化,使其更加服从高斯分布,此步处理可能会使我们后续的分类结果得到一个好的结果。

2. 平滑问题很容易处理掉,导致模型的结果达不到一定的标准,log1p( )能够避免复值得问题 — 复值指一个自变量对应多个因变量

log1p( ) 的使用就像是一个数据压缩到了一个区间,与数据的标准类似。其逆运算就是expm1的函数

由于使用的log1p()对数据进行了压缩,最后需要将预测出的平滑数据进行一个还原,而还原过程就是log1p的逆运算expm1.

log1p = log(x+1)

当x较大时直接计算,当x较小时用泰勒展开式计算
 

上面介绍了两者的概念和方法的优点,下面说说具体的数学含义:
log1p和expm1的功能:

    log1p := log(x+1)      即ln(x+1)

    expm1 := exp(x)-1

log1p函数有它存在的意义,即保证了x数据的有效性,当x很小时(如 两个数值相减后得到x = 10^{-16}),由于太小超过数值有效性,用log(x+1)计算得到结果为0,换作log1p则计算得到一个很小却不为0的结果,这便是它的意义(好像是用泰勒公式来展开运算的,不确定)。

同样的道理对于expm1,当x特别小,exp(x)-1就会急剧下降出现如上问题,甚至出现错误值。

 

在最开始看到这样的处理方式的时候,不是很理解包括为什么是逆运算(一下子没有想到),后来慢慢摸索就优点清晰了,比如为什么两这是逆运算(简单处理):

logx是e为底的对数,e^{x}是e为底的指数,根据对数的规则,再进行变换推导可以得到:

    e^{log_{e}^{x}} = x

可以看到x经过对数的处理后,再经过指数处理再次得到x,这里对两者的逆运算做了简单的介绍。

\text{RMSLE}=\sqrt{\frac{1}{n}\sum_{i=1}^n(\log(x_i+1)-\log(y_i+1))^2}

另外RMSLE(均方根对数误差)会更多的惩罚欠拟合,所以在使用该误差定义时我们也可以用到上面的函数:

    np.loglp计算加一后的对数,其逆运算是np.expm1;
    采用此误差函数时,可以先对原始数据做np.log1p,再使用RMSE。

你可能感兴趣的:(机器学习/深度学习,python,numpy,log1p)