拉依达准则去除异常数据

1.Concept

拉依达准侧(Pau’ta Criteron)是先假设一组数据中只含有随机误差,首先按照一定准侧计算标准偏差,按照一定概率确定一定区间,认为不在这个区间的为异常值。
使用数据类型:数据呈正太分布或者近似正太分布。

2.举例实验

该实验中使用正太分布函数确定区间,认为剩余误差超过3 σ \sigma σ为异常值。

python 代码实验:

# encoding:utf-8
'''
@Author:noodles
2020-7-25 17:00:48
'''
import math
import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号


def pdf(x, mu, sigma):
    y = (1.0 / math.sqrt(2 * math.pi * sigma)) * np.exp(-(x - mu) ** 2 / (2 * sigma ** 2))
    return y




if __name__ == '__main__':
    # generate random num tested
    src_data = np.random.randn(100)
    src_data[99] = 5 # add one outliers

    x = np.sort(src_data)
    # step1: get mean
    mu = x.mean()
    # step2: get standard deviation
    sigma = x.std()
    # plot histgram of its distribution
    y = pdf(x, mu, sigma)
    # step3: residual error
    RE = abs(x - mu)
    # step4: remove outliers
    good_x = []
    outliers = []
    for i, j in zip(RE, x):
        if i < 3 * sigma:
            good_x.append(j)
        else:
            outliers.append(j)
    good_x = np.array(good_x)
    good_mu = good_x.mean()

    good_sigma = good_x.std()
    good_y = pdf(good_x, good_mu, good_sigma)
    plt.plot(x, y, c='b', label=u'原始值')
    plt.plot(good_x, good_y, c='r', label=u'去除异常值后数据')
    plt.title('Normalization distribution curve')
    plt.legend()
    plt.show()
    print('the outliers removed:',outliers)

实验结果:
拉依达准则去除异常数据_第1张图片
拉依达准则去除异常数据_第2张图片

3.Couclusion

使用Pauta准侧第一步你要能够确定你的数据符合正太分布,或者能够转化为正太分布,其次根据自己的需要合理选择不同的概率分布函数。

4.Reference

https://baike.baidu.com/item/%E6%8B%89%E4%BE%9D%E8%BE%BE%E5%87%86%E5%88%99/5678473?fr=aladdin

你可能感兴趣的:(概率论,大数据)