Kaggle：House Prices: Advanced Regression Techniques--数据缺失值处理
数据缺失值处理
1.导入数据
import pandas as pd
X = pd.read_csv('train.csv')
Y = pd.read_csv('test.csv')
2.查看数据
X.info()3.计算每列的缺失率，并按缺失率降序排序
null_num = X.shape[0] - X.count() #计算每列的缺失数
null_num_rate = null_num / X.shape[0] #缺失率
null_num_df = pd.concat([null_num, null_num_rate],axis=1)
null_num_df.columns=['num','rate']
null_num_df = null_num_df.sort_values(by = ['rate'], ascending = False) #对缺失率降序排序
4. 直接删除缺失率多的标签
X=X.drop(['PoolQC','MiscFeature','Alley','Fence','FireplaceQu'],axis=1)5. 对指定的列填充缺失值‘None’
col=['GarageType','GarageQual','GarageCond','GarageFinish','BsmtExposure','BsmtFinType2','BsmtQual','BsmtCond','BsmtFinType1']
X[col]=X[col].fillna('None')6. 其中GarageYrBlt为车库的年份，用房子的建造年份来替代
X.loc[X['GarageYrBlt'].isnull(),'GarageYrBlt']=X[X['GarageYrBlt'].isnull()]['YearBuilt']7. 用中位数替换‘LotFrontage’的缺失值
X.loc[X['LotFrontage'].isnull(),'LotFrontage']=X['LotFrontage'].mean(skipna=True)8. 变量 MasVnrType 外墙装饰材料
这个变量对价钱的影响应该不大，MasVnrType中的NA用它本身的None来代替
X['MasVnrType']=X['MasVnrType'].fillna('None')9. 变量 MasVnrArea 外墙装饰材料的面积
这个缺失值对应着MasVnrType的None值，应该将NA用0来替代
X['MasVnrArea']=X['MasVnrArea'].fillna(0)10. 变量 Utilities 没有区分度，直接丢弃
X=X.drop('Utilities',axis=1)11. 变量 BsmtFullBath BsmtHalfBath BsmtFinSF1 BsmtFinSF2 BsmtUnfSF TotalBsmtSF GarageCars GarageArea 则是由于不存在相应的设施而缺失，这些变量都是数字变量，所以都补充为0即可。
cols=['BsmtFullBath','BsmtHalfBath','BsmtFinSF1','BsmtFinSF2','BsmtUnfSF','TotalBsmtSF','GarageCars','GarageArea']
X[cols]=X[cols].fillna(0,axis=1)12. 变量MSZoning,Functional,Exterior1st,Exterior2nd,KitchenQual,Electrical,SaleType
这些变量都是因子变量，并且只有几个缺失值，直接用最多的因子（出现频率最高的）来代替
def select(x):
#print(x)
a=x.mode().values[0]
return x.fillna(a)
X[cols]=X[cols].apply(fun)