python 数据降噪

对于服从正态分布的数据,服从正态分布3σ原则:
数值分布在(μ-σ,μ+σ)中的概率为0.6526
数值分布在(μ-2σ,μ+2σ)中的概率为0.9544
数值分布在(μ-3σ,μ+3σ)中的概率为0.9974
所以数据落在(μ-3σ,μ+3σ)外的概率为0.0026为小概率事件,因此作为噪点来去除


def DenoisMat(df):
    u = df['DELTA'].mean()   # 计算均值
    # 计算标准差
    std = df['DELTA'].std()
    error = df[np.abs(df["DELTA"] - u ) > 3 * std ]
    print(error)
    # 剔除异常值,保留正常的数据
    data_c = df[np.abs(df["DELTA"] - u )  <= 3 * std ]
    return data_c

你可能感兴趣的:(python,sql,mysql,数据库)