特征清洗：基于条件改变数据集中一列中特定行的值（isin和str.contains）

1.精准匹配isin

在数据集清洗中，经常需要通过判断一个特征的值是否等于一个特定值（或一些特征值），从而改变相对应的该特征或另一特征中特定行的值。

以如下数据集举例：

其中，班级这个特征（这列）存在异常值和缺失值。下面设想两种情况：

（1）如果已知学号为2和5的两个同学都是C班的，那就可以基于这个条件修改对应班级的值：

df.loc[df['学号'].isin([2, 5]) == True, '班级'] = 'C'

从而得到如下填补完成的数据集：

（2）如果已知C班的登记出了差错，而A班和B班登记的都正确无误，班级这一特征的值除了A班、B班，就只可能是C班。基于“除了A班和B班都是C班”这一条件，可以修改特征“班级”的值：

df.loc[df['班级'].isin(['A', 'B']) != True, '班级'] = 'C'

从而得到和上图一样清洗完成的数据集。

综上，推广可得：

df.loc[df['column_condition'].isin([value_list]) == True, 'column_tochange'] = new_value

'column_condition’是作为判断条件的特征名称，“value_list”是作为精准匹配的值的列表。这个列表中可以有多个值，也可以只有一个值，列表中可以同时有数字和字符串多种形式的元素。其中’column_condition’和’column_tochange’可为同一列。

需要特别注意的是，当重复使用该语句并使用“!=”非判断时，要确认语句前后顺序不会导致错误！

2.模糊匹配str.contains

有时我们需要把一个特征中含有某个特定字符串的行统一赋值成某一值，这个时候就需要用到str.contains。以如下数据集举例：

已知特征“班级”中所有含有“A”和“a”的值都可以统一为A班，可以使用str.contains函数找出对应值并进行赋值：

df.loc[df['班级'].str.contains("A|a") == True, "班级"] = 'A'

这样就可以成功地匹配到特征“班级”中的异常值，完成替换。

综上可得：

df.loc[df['column_condition'].str.contains("a|b|c|...|x") == True, "column_tochange"] = new_value

'column_condition’是作为判断条件的特征名称，“a|b|c|…|x”是作为模糊匹配的一系列字符串，每个字符串中间用"|"分隔。其中’column_condition’和’column_tochange’可为同一列。