LightGBM用法简析和tricks

文章目录

    • LightGBM 简介
    • LightGBM 使用
      • 1、加载数据
      • 2、训练与保存
        • 主要参数
        • 保存与加载
      • 3、预测
    • 实例代码(simple_example)
    • 总结
    • 参考

LightGBM 简介

LightGBM可谓是比赛的大杀器,他的优点有

  1. 训练更有效率,运行时间少。
  2. 使用更少的内存。
  3. 准确率可以在众多模型中是一流的。
  4. 支持GPU,可以并行计算,能处理大规模数据。

LightGBM 使用

本文将简介如何使用LightGBM,和使用过程中的tricks

1、加载数据

LightGBM支持
1、libsvm/tsv/csv 文本文件格式
2、pandas 对象
3、二进制文件
需要将数据加载成Dataset中,测试集要和训练集数据格式一致。

import lightgbm as lgb

train_data = lgb.Dataset(data, label=label)

test_data = lgb.Dataset(test_data, reference=train_data)        #  1
test_data = train_data.create_valid(test_data)                  #  2  等同于1

trick :可以把数据存成二进制,会使得加载更快,以后就可以直接读取二进制文件。

train_data.save_binary('train.bin')

trick :如果特征是categorical features(分类特征)可以直接使用categorical features输入,会比 one-hot coding(独热编码)更快(约快上 8 倍),分类特征需要提前转换为 int 类型的值。

train_data = lgb.Dataset(data, label=label, feature_name=['c1', 'c2', 'c3'], categorical_feature=['c3'])

2、训练与保存

训练需要给定params(参数列表),训练数据等很多参数,一般参数都用字典的形式写在params里面。

bst= lgb.train(params,
                lgb_train,
                num_boost_round=20,
                valid_sets=lgb_eval,
                early_stopping_rounds=5)

主要参数

params = {'objective': 'regression'     # 选择模型的用途,回归、分类等。
          'boosting' : 'gbdt'           # 选择要用的算法 (gbdt, rf, dart, goss) 	
          'num_iterations' : '100'      # 迭代的次数
          'learning' : '0.1'            # 学习率 
          'num_leaves' : '31'           # 一棵树上的叶子数
          'device'  :  'cpu'            # 使用cpu或gpu   
		  } 

保存与加载

bst.save_model('model.txt',num_iteration=bst.best_iteration)  # 会保存最佳迭代结果:
json_model = bst.dump_model()   # 转存为 JSON 的格式
# 加载模型
bst = lgb.Booster(model_file='model.txt')  #init model

更多参数详解参考 https://lightgbm.apachecn.org/#/docs/6

3、预测

ypred = bst.predict(data, num_iteration=bst.best_iteration) # 使用最好的迭代结果预测

实例代码(simple_example)

导入需要的库,加载数据。

# coding: utf-8
# pylint: disable = invalid-name, C0111
import lightgbm as lgb
import pandas as pd
from sklearn.metrics import mean_squared_error

print('Loading data...')
# load or create your dataset
df_train = pd.read_csv('./data/regression.train', header=None, sep='\t')
df_test = pd.read_csv('./data/regression.test', header=None, sep='\t')

得到数据和标签,并存成Dateset格式。

y_train = df_train[0]
y_test = df_test[0]
X_train = df_train.drop(0, axis=1)
X_test = df_test.drop(0, axis=1)

# create dataset for lightgbm
lgb_train = lgb.Dataset(X_train, y_train)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

设置参数。

# specify your configurations as a dict
params = {
    'boosting_type': 'gbdt',
    'objective': 'regression',
    'metric': {'l2', 'l1'},
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0
}

训练过程

print('Starting training...')
# train
gbm = lgb.train(params,
                lgb_train,
                num_boost_round=20,
                valid_sets=lgb_eval,
                early_stopping_rounds=5)

LightGBM用法简析和tricks_第1张图片
保存模型,并进行预测。

print('Saving model...')
# save model to file
gbm.save_model('model.txt')

print('Starting predicting...')
# predict
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
# eval
print('The rmse of prediction is:', mean_squared_error(y_test, y_pred) ** 0.5)

总结

  1. 可以用来控制过拟合的参数:
    使用较小的 max_bin
    使用较小的 num_leaves
    使用 min_data_in_leaf 和 min_sum_hessian_in_leaf
    通过设置 bagging_fraction 和 bagging_freq 来使用 bagging
    通过设置 feature_fraction 来使用特征子抽样
    使用更大的训练数据
    使用 lambda_l1, lambda_l2 和 min_gain_to_split 来使用正则
    尝试 max_depth 来避免生成过深的树
  2. two_round = True 减少内存
  3. 本文仅实现简单的LigthGBM的使用,更多代码会放在我的github中,欢迎star。

参考

  1. 详细代码:https://github.com/Clayygou/LightGBM/blob/master/simple_example.ipynb
  2. LightGBM 中文文档
  3. https://www.jianshu.com/p/b4ac0596e5ef
  4. https://www.zhihu.com/search?type=content&q=lightgbm
  5. https://github.com/microsoft/LightGBM/tree/master/examples/python-guide

你可能感兴趣的:(机器学习)