xgb一些常见问题汇总

分析建模，日常问题整理（二十九）

---

2019.9.30~2020.3.13

---

1. xgboost问题
   1）保存为txt树结构，原生的xgboost保存model.dump_model
   xgb.Regression._Booster.dump_model。
   2）当xgboost的预测结果xgb.predict结果大于1时。肯定忘记设置'objective':'reg:logistic'！！！
   3）当模型结果严重过拟合时，尝试gamma调整大一些，比如10~30之间。
   4）alpha，min_child_weight调大也能减弱一些过拟合。
   5）用原始数据还是用分箱后数据效果更好？（xgb本身就在做最优分箱，所以差别应该不大）。
   6）转为txt树结构时，树结构只包含了每棵树的信息，不同于模型文件，里面包含了比较全的参数信息。txt不包含对数据的填充或者处理等操作，因此要保证进入模型的数据要保留空值。
   7）用xgb跑10次重要性根据均值进行特征筛选时，可以迭代这个过程。
   比如，每次循环剔除20个变量，再run下一次xgb多次重要性，如此循环，直到保留的变量小于设定的变量个数。
   8）max_depth一般取值在（3~10]，才能让模型学习充分，过拟合的参数可以在其他参数上调整设置。

2. 以iv最大化的smbinings（R里面的方法）会造成每个箱的分到的数据量差异很大。容易分比较少的类别，影响最终的分数分布情况。分类非常少时，很多分数会集中起来。所以用等深分箱的时候可能效果会好一些，尽可能多分一些类别(保证单调的情况下)，虽然iv值可能偏小。

3. 使用smote过抽样时，会使分布稍微均匀，且均值会往右偏（客户总体会偏坏？），所以尽量不要使过抽样离原始好坏分布差异太大。
   经验证，smote会是模型对样本外效果不好。慎用！！！

4. PCA是在寻找能使数据更加分散方差更大的线性超平面，因此对线性分布的数据效果更好。所以pca降维时候我一般选意义相近相关性强的数据(且要看其数据分布特征)。

5. 数据去重以及如何选择划分会影响模型效果。
   对总体数据集使用交叉验证，来选择效果最好的样本切分。

6. 为了对比两个数据，同时输出图和表

offline = pd.read_csv('dat1.csv')
offline.rename(columns = {'v1':'score_1'},inplace=True)
online = pd.read_excel('dat2.xlsx')
online.rename(columns = {'v2':'score_2'},inplace=True)
plt.figure(figsize=(6,4))
sns.kdeplot(offline['score_1'].astype(float),label = 'offline')
sns.kdeplot(online['score_2'].astype(float),label = 'online')
tem_1 = offline["score_1"].describe().reset_index()
tem_2 = online['score_2'].describe().reset_index()
tem = tem_1.merge(tem_2,on='index',how = 'left')
tem[['score_1','score_2']] = tem[['score_1','score_2']].applymap(lambda x:round(x,2))
table_ = plt.table(cellText = [['offline','online']]+tem[['score_1','score_2']].values.tolist(),
          colWidths=[0.15]*2,rowLabels = [' ']+tem['index'].tolist(),loc='right')
table_.set_fontsize(14)
table_.scale(1.6,2.02)
color_list = ['#d65a31','#40bfc1','#b7e778','#5edfff']
plt.figure(figsize=(6,4))

7. 联邦学习
   概念：两个数据机构在保密各自数据的前提下进行模型训练
   目的：在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。（提高效率还是增强模型判断力）
   分类：
   横向联邦学习：两个数据集的用户特征重叠较多，而用户重叠较少的情况下，我们把数据集按照横向（即用户维度）切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。相当于增加了训练样本。
   纵向联邦学习：两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向（即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。相当于增加了特征维度。
   迁移联邦学习：用户与用户特征重叠都较少的情况下，我们不对数据进行切分，而利用迁移学习国来克服数据或标签不足的情况。
   应用场景：
   问题：双方获益相同吗？

8. 如何将字符串转化为dataframe
   'a:1,b:2,c:3'
   pd.DataFrame([[dict(zip(['id']+[x.split(':')[0] for x in v.split(' ')] , ['k']+[x.split(':')[1] for x in v.split(' ')] )) ][0] for k,v in zip(df['id'],df['var_detail']) if v!='-999' ])