XGBoost用于建模,SHAP用于模型的可视化解释。
多分类实例:
https://blog.csdn.net/weixin_45520028/article/details/109003707
XGBoost原理参考推荐:
https://zhuanlan.zhihu.com/p/75217528
https://www.cnblogs.com/wj-1314/p/9402324.html
官方参数解释
XGB中文解释
SHAP参考推荐:
https://blog.csdn.net/weixin_45520028/article/details/108857908
另外,多分类模型解释参考:
https://developer.aliyun.com/article/715920
XGB准备原始数据为一个dataframe,其中一列为输出的结果值,其他列为模型的特征值。
字符转数值方法:
法一:直接转稀疏矩阵:
# 将col1和col2两列的内容转稀疏矩阵。一列中有n个不同的值,该列将转成n列稀疏矩阵
pd.get_dummies(data, drop_first=True, columns=['col1','col2'])
法二:函数转数值LabelEncoder
# data为原数据dataframe,data_deal为需要转换的dataframe
data_deal = data[['col1', 'col2',
'col3', ......]]
# 先转为str格式,中/英文都需要先转str便于后续函数处理
data_deal['col1'] = data_deal['col1'].astype(str)
# ......
# 字符转换为数值
# features用于记录转换完成的数值
# feature_tables用于记录完整的原字符和转换后数值
features = []
feature_tables = []
for i in range(0, data_deal.shape[1]):
label_encoder = LabelEncoder()
feature = label_encoder.fit_transform(data_deal.iloc[:, i])
feature_table = label_encoder.inverse_transform(feature)
features.append(feature)
feature_tables.append(feature)
feature_tables.append(feature_table)
# 如需反转使用label_encoder.inverse_transform(feature)
data_deal2 = np.array(features)
data_deal2 = data_deal2.reshape(data_deal.shape[0], data_deal.shape[1])
data_deal3 = pd.DataFrame(data_deal2)
# data返回替换,完成数值型转换
data['col1'] = data_deal3.iloc[:, 0]
data['col2'] = data_deal3.iloc[:, 1]
data['col3'] = data_deal3.iloc[:, 2]
# ......
# 额外查看操作,不影响建模过程
# 查看字符-数字转换替换表
# 特征对应完整表
feature_tables = pd.DataFrame(np.array(feature_tables)).T
# 去重查看转换对照表
# subsidy_sensitive对应表
fea_sub_sens = feature_tables.iloc[:,:2].drop_duplicates().reset_index(drop=True).sort_values(by=1)
# order_subsidy_sensitive_level对应表
fea_ord_sub_sens = feature_tables.iloc[:,2:4].drop_duplicates().reset_index(drop=True).sort_values(by=3)
# 二second_level_stage_net对应表
fea_sec_lv_stage = feature_tables.iloc[:,4:6].drop_duplicates().reset_index(drop=True).sort_values(by=5)
# ......
法三:函数转数值OneHotEncoder
输出与法一类似。
原数据抽样
根据需要使用,可以选择随机抽样,抽出不同分类的数据总行数相同的分类组。
# 结果1、结果2、结果0抽取同数量组数
data_s1 = data[data['col_result'] == 1].sample(n=650000, random_state=1)
data_s2 = data[data['col_result'] == 2].sample(n=650000, random_state=1)
data_s0 = data[data['col_result'] == 0].sample(n=650000, random_state=1)
# 拼接新的数据集
data = pd.concat([data_s1, data_s2, data_s0], ignore_index=True, axis=0)
准备XGB的输入和输出数据,训练集和测试集。
# XGBoost建模数据准备,输入特征值和输出结果
data_result = data.iloc[:, 17]
data_input = data.iloc[:, 1:17]
# 准备xgb训练输入、测试输入、训练输出、测试输出
# 测试集选1%的原数据规模
train_x, test_x, train_y, test_y = train_test_split(data_input, data_result, test_size=0.01, random_state=0)
# xgb处理训练集和测试集
dtrain = xgb.DMatrix(train_x, label=train_y)
dtest = xgb.DMatrix(test_x)
# 参数
params = {'booster': 'gbtree',
'objective': 'multi:softprob', #多分类'multi:softmax'返回预测的类别(不是概率),'multi:softprob'返回概率
'num_class': 3,
'eval_metric': 'merror', #二分类用’auc‘,多分类用'mlogloss'或'merror'
'max_depth': 7,
'lambda': 15,
'subsample': 0.75,
'colsample_bytree': 0.75,
'min_child_weight': 1,
'eta': 0.025,
'seed': 0,
'nthread': 8,
'silent': 1,
'gamma': 0.15,
'learning_rate': 0.01}
watchlist = [(dtrain, 'train')]
# 建模与预测:NUM_BOOST_round迭代次数和数的个数一致
model = xgb.train(params, dtrain, num_boost_round=50, evals=watchlist)
ypred = model.predict(dtest)
4 模型评估
'objective’参数解释
“reg:linear” # 线性回归模型
“reg:logistic” # 逻辑回归模型
“binary:logistic” # 二分类的逻辑回归模型,输出为概率。
“binary:logitraw” # 二分类的逻辑回归问题,输出的结果为wTx
“count:poisson” # 计数问题的poisson回归,输出结果为poisson分布。在poisson回归中,max_delta_step的缺省值为0.7
“multi:softmax” # 多分类模型,同时需设置参数num_class(分类个数),输出为分类结果
“multi:softprob” # 和softmax一样,但输出的是概率,为n * m 的向量(n行,m分类数)
“rank:pairwise” # set XGBoost to do ranking task by minimizing the pairwise loss