机器学习第三篇----lightgbm 使用感想

lightgbm 是微软开源的一款快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。

它有以下优势：

• 更快的训练效率
• 低内存使用
• 更好的准确率
• 支持并行学习
• 可处理大规模数据

（1）首先看下lightgbm的python 实现

# coding: utf-8
# 函数的更多使用方法参见LightGBM官方文档：http://lightgbm.readthedocs.io/en/latest/Python-Intro.html
import lightgbm as lgb
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

iris = load_iris()  # 载入鸢尾花数据集
data = iris.data
target = iris.target
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.2)

# 加载你的数据
# print('Load data...')
# df_train = pd.read_csv('../regression/regression.train', header=None, sep='\t')
# df_test = pd.read_csv('../regression/regression.test', header=None, sep='\t')
#
# y_train = df_train[0].values
# y_test = df_test[0].values
# X_train = df_train.drop(0, axis=1).values
# X_test = df_test.drop(0, axis=1).values

# 创建成lgb特征的数据集格式
lgb_train = lgb.Dataset(X_train, y_train)  # 将数据保存到LightGBM二进制文件将使加载更快
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)  # 创建验证数据

# 将参数写成字典下形式
params = {

    'task': 'train',
    'boosting_type': 'gbdt',# 设置提升类型
    'objective': 'regression',  # 目标函数
    'metric': {'rmse', 'auc'},# 叶子节点数
    'metric_freq': 1,
    'num_trees': 100,
    'num_leaves': 16,
    'max_depth': 4, #设置数据的深度，防止过拟合
    'learning_rate': 0.02, # 学习速率
    'feature_fraction': 0.5,# 建树的特征选择比例
    'feature_fraction_seed': 6,
    'bagging_fraction': 0.5,# 建树的样本采样比例
    'bagging_freq': 5,  # k 意味着每 k 次迭代执行bagging
    'is_unbalance': 'true', #数据集如果样本不均衡，可以明显提高准确率
    'verbose': 0
}

evals_result = {}
print('Start training...')
# 训练 cv and train
gbm = lgb.train(params, lgb_train, num_boost_round=20, valid_sets=lgb_eval, early_stopping_rounds=5,evals_result=evals_result)  # 训练数据需要参数列表和数据集

print('Save model...')

gbm.save_model('model.txt')  # 训练后保存模型到文件

print('Start predicting...')
# 预测数据集
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)  # 如果在训练期间启用了早期停止，可以通过best_iteration方式从最佳迭代中获得预测
# 评估模型
print('The rmse of prediction is:', mean_squared_error(y_test, y_pred) ** 0.5)  # 计算真实值和预测值之间的均方根误差

对于lightgbm最深的体会就是我们工作中的数据集样本都是非均衡的，lightgbm最这种情况做了优化，使用参数 ‘is_unbalance’: ‘true’ 可以明显提升训练的准确率。

（2）lightgbm也提供了可视化的接口
可以可视化出重要的特征排名和训练中的auc变化趋势

import matplotlib.pyplot as plt

fig2 = plt.figure(figsize=(20, 20))
ax = fig2.subplots()
lgb.plot_tree(gbm, tree_index=1, ax=ax)
plt.show()
lgb.create_tree_digraph(gbm, tree_index=1)

print('画出训练结果...')
ax = lgb.plot_metric(evals_result, metric='auc')
# metric的值与之前的params里面的值对应
plt.show()

print('画特征重要性排序...')
ax = lgb.plot_importance(gbm, max_num_features=20)
# max_features表示最多展示出前10个重要性特征，可以自行设置
plt.show()

（3）在实践过程中，lightgbm最有优势的地方是：直接支持类别特征。
实际上大多数机器学习工具都无法直接支持类别特征，一般需要把类别特征，转化到多维的0/1特征，降低了空间和时间的效率。lightgbm开创了GBDT工具新的思路，降低了算法的门槛，提高了工具的易用性

（4）常用的参数调整：
（1）max_depth 树的深度，树过深，容易过拟合，过浅准确率不够，lightgbm可以自动调整深度，可以不设次参数
（2）num_leaves
LightGBM使用的是leaf-wise的算法，因此在调节树的复杂程度时，使用的是num_leaves而不是max_depth。 大致换算关系：num_leaves = 2^(max_depth)
（3）样本分布非平衡数据集：可以param[‘is_unbalance’]=’true’
（4）Bagging参数：bagging_fraction+bagging_freq（必须同时设置）、feature_fraction 建树的特征选择比例
（5）min_data_in_leaf、min_sum_hessian_in_leaf
（6）learning_rate 学习速率
具体每个参数的调整方式和默认值可以参考官方文档