拉依达准则去除异常数据

1.Concept

拉依达准侧（Pau’ta Criteron）是先假设一组数据中只含有随机误差，首先按照一定准侧计算标准偏差，按照一定概率确定一定区间，认为不在这个区间的为异常值。
使用数据类型：数据呈正太分布或者近似正太分布。

2.举例实验

该实验中使用正太分布函数确定区间，认为剩余误差超过3 $\sigma$为异常值。

python 代码实验：

# encoding:utf-8
'''
@Author：noodles
2020-7-25 17:00:48
'''
import math
import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号


def pdf(x, mu, sigma):
    y = (1.0 / math.sqrt(2 * math.pi * sigma)) * np.exp(-(x - mu) ** 2 / (2 * sigma ** 2))
    return y




if __name__ == '__main__':
    # generate random num tested
    src_data = np.random.randn(100)
    src_data[99] = 5 # add one outliers

    x = np.sort(src_data)
    # step1: get mean
    mu = x.mean()
    # step2: get standard deviation
    sigma = x.std()
    # plot histgram of its distribution
    y = pdf(x, mu, sigma)
    # step3: residual error
    RE = abs(x - mu)
    # step4: remove outliers
    good_x = []
    outliers = []
    for i, j in zip(RE, x):
        if i < 3 * sigma:
            good_x.append(j)
        else:
            outliers.append(j)
    good_x = np.array(good_x)
    good_mu = good_x.mean()

    good_sigma = good_x.std()
    good_y = pdf(good_x, good_mu, good_sigma)
    plt.plot(x, y, c='b', label=u'原始值')
    plt.plot(good_x, good_y, c='r', label=u'去除异常值后数据')
    plt.title('Normalization distribution curve')
    plt.legend()
    plt.show()
    print('the outliers removed:',outliers)

实验结果：

3.Couclusion

使用Pauta准侧第一步你要能够确定你的数据符合正太分布，或者能够转化为正太分布，其次根据自己的需要合理选择不同的概率分布函数。

4.Reference

https://baike.baidu.com/item/%E6%8B%89%E4%BE%9D%E8%BE%BE%E5%87%86%E5%88%99/5678473?fr=aladdin