pandas清洗客户编码异常数据

前言

在不同行业中，我们经常会遇到一个麻烦的问题：数据清洗。尤其是当我们需要处理客户编码异常数据时，这个问题变得尤为重要。想象一下，许多银行都是以客户为单位管理数据的，因此每个客户都有一个独特的编码。在处理这些数据时，我们常常会面临以下问题：

1. 客户编码有一个为空，另一个不为空的情况。
2. 客户编码存在多个不同的值。
3. 客户编码为空。

针对这些令人头疼的问题，接下来我将详细介绍如何使用pandas清洗客户编码异常数据。

创建一个新的数据集

首先我们要创建一个新的数据集，这个数据集的目的是用来对客户的编码进行清洗。

import pandas as pd
import numpy as np

data = {
    '主键': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'MDG编码': [np.nan, np.nan, 'A001', 'A002', np.nan, 'B001', 'B002', np.nan, 'C001', 'C002'],
    '客户名称': ['客户1', '客户1', '客户1', '客户2', '客户2', '客户3', '客户3', '客户4', '客户4', '客户4'],
    '证件号': ['111111', '111111', '111111', '222222', '222222', '333333', '333333', '444444', '444444', '444444'],
    '客户类型': ['类型1', '类型1', '类型1', '类型2', '类型2', '类型3', '类型3', '类型4', '类型4', '类型4']
}

yb = pd.DataFrame(data)
yb

输出

字符串空值转换

pandas识别空字符串为非空值，所以我们需要将编码为空的数据转换为pandas能识别的NaN。

yb.MDG编码.replace(to_replace=r'^\s*$', value=np.nan, regex=True, inplace=True)
cf = yb[(yb.duplicated(['客户名称'], keep=False))] #只获取有重复的客户，减少需要处理的数据量
cf

输出：同上

构造分组函数、不同异常数据进行分组

cf['count'] = np.nan
cf.sort_values(by=['客户名称','MDG编码'],inplace=True)
def abc(x):
    df = set(x[x.notnull()])
    if len(df)==1:
        if len(set(x))>1:
            return 2
        else:
            return 1
    elif len(df)>=2:
        return 3
cf['count'] = cf.groupby(['客户名称'])['MDG编码'].transform(abc)
cf

输出

这段代码的作用是在DataFrame（cf）中创建一个新的列count，然后根据'客户名称'和'MDG编码'对DataFrame进行排序。接下来，定义了一个函数abc(x)。

该函数首先将非空值存储在一个集合df中。如果集合df中的元素个数为1，且字段x中的不同值个数多于1个，则返回2。如果集合df中的元素个数为1，且字段x中的不同值个数只有1个，则返回1。如果集合df中的元素个数大于等于2，则返回3。

最后，使用cf.groupby(['客户名称'])['MDG编码'].transform(abc)将函数abc应用到分组后的cf DataFrame的'MDG编码'列中，并将结果赋值给cf的'count'列。

查询正确的客户编码

#查询mdg编码正确的数据
cf2 = cf[cf['count']==2]
cf1 = cf2.loc[cf2.MDG编码.notnull()]
cf1 = cf1.drop_duplicates('客户名称')  #mdg编码不为空，且mdg编码正确的数据
cf1

输出

获取需要修改的异常客户的id

将mdg编码为空的客户 与 正确MDG编码的客户进行匹配，获取需要修改的客户数据

cf3 = cf2[cf2.MDG编码.isnull()].merge(cf1[['客户名称','MDG编码']],how='left',on='客户名称')
cf3 = cf3[['主键','MDG编码_y','客户名称','证件号','客户类型','MDG编码_x']]
cf3  #MDG编码_y为正确编码，主键为需要修改的id

输出

上述情况是相同客户有一个正确编码和一个编码为空的情况，对于相同客户有两个及两个以上不同编码的情况，使用下述方法查询：

cf[cf['count']==3] #多个不相等mdg编码

输出

这类数据由于编码有多个不相同，需要根据业务进一步核实

总结

本文主要介绍了在 pandas中清洗客户编码异常数据的方法，使用这个方法我们可以快速的清洗客户编码异常数据。那么如果你想要对这个方法进行优化的话，我们还可以对数据进行清洗。比如说我们可以对原始数据进行一次排序，然后在排序后的数据中寻找是否存在空值、重复值和重复编码等问题。

欢迎一起探索pandas的更多精彩博客！
1️⃣ Pandas特殊连接：模糊连接和有序变量表连接！
2️⃣ pandas特征工程：线性变换
3️⃣ Pandsa时间序列采样频率滑窗及重采样
4️⃣ Pandas 日期处理：生成及去除工作日与节假日
5️⃣ Python音频处理——pydub
6️⃣Python使用XPath解析HTML：从入门到精通
7️⃣Python天文数据处理——Astropy

一起来学习吧！ #编程 #CSDN #Python #Pandas #Astropy #Pydub