LGBM函数及参数详解

LGBM Python API

Dataset

class lightgbm.Dataset(data, label=None, max_bin=None, reference=None, weight=None, group=None, init_score=None, silent=False, feature_name='auto', categorical_feature='auto', params=None, free_raw_data=True)

创建一个带label的训练集和交叉验证集

    trn_data = lgb.Dataset(X_tr, label=y_tr)
    val_data = lgb.Dataset(X_valid, label=y_valid)

Booster 

class lightgbm.Booster(params=None, train_set=None, model_file=None, silent=False)    #booster可用lgb来代替

• params   字典形式的参数
• train_set Training dataset.
• model_file model文件的路径
• silent 构建模型时是否打印信息

只要有lgb实例，就可以调用下列函数 ，包括 predict，

lgb.add_valid  添加交叉训练集 

lgb.attr(key)  Get attribute string from the Booster.

lgb.current_iteration()  Get the index of the current iteration.

lgb.dump_model(num_iteration=-1)   Dump Booster to json format.

lgb.eval(data, name, feval=None)    Evaluate for data.   Result – List with evaluation results.

lgb.eval_train(feval=None)   Evaluate for training data.

lgb.eval_valid(feval=None)    Evaluate for validation data.

lgb.feature_importance(importance_type='split', iteration=-1)   Get feature importances.

lgb.feature_name()   Get names of features.

lgb.free_dataset()     Free Booster’s Datasets.

lgb.free_network()    Free Network.

lgb.get_leaf_output(tree_id, leaf_id)   Get the output of a leaf.

lgb.num_feature()     Get number of features.

predict(data, num_iteration=-1, raw_score=False, pred_leaf=False, pred_contrib=False, data_has_header=False, is_reshape=True, pred_parameter=None)

lgb.reset_parameter(params)

lgb.rollback_one_iter()      Rollback one iteration.

lgb.save_model(filename, num_iteration=-1)

lgb.set_attr(**kwargs)      Set the attribute of the Booster.

lgb.set_network(machines, local_listen_port=12400, listen_time_out=120, num_machines=1)    Set the network configuration.

lgb.set_train_data_name(name)

lgb.update(train_set=None, fobj=None)     Update for one iteration.

Train API

 lightgbm.train

lightgbm.train(params, train_set, num_boost_round=100, valid_sets=None, valid_names=None, fobj=None, feval=None, init_model=None, feature_name='auto', categorical_feature='auto', early_stopping_rounds=None, evals_result=None, verbose_eval=True, learning_rates=None, keep_training_booster=False, callbacks=None)

• params (dict) – Parameters for training.
• train_set (Dataset) – Data to be trained.
• num_boost_round (int_,_ optional (default=100)) – 迭代次数，也就是弱学习器的数量
• valid_sets – List of data to be evaluated during training.

训练参数中没有单个弱学习器的参数(即决策树的参数) ，params表示所有弱学习器的参数

params参数包括：

• "objective" : "regression", "binary",
• "metric" : "rmse","auc"
• "boosting": 'gbdt',
•  "max_depth": -1,
• "min_child_samples": 20, 
• "num_leaves" : 31,
• "learning_rate" : 0.1, 
• "subsample" : 0.8,
• "colsample_bytree" : 0.8, 
• "verbosity": -1
• "bagging_freq": 5,
• "bagging_fraction" : 0.4,
• "feature_fraction" : 0.05,
• "min_data_in_leaf": 80,
• "min_sum_heassian_in_leaf": 10,
• "tree_learner": "serial",
• "boost_from_average": "false",
• "lambda_l1" : 5,
• "lambda_l2" : 5
• "bagging_seed" : random_state
•  "seed": random_state

boosting_type 

提升算法类型：‘gbdt’，‘dart’，‘goss’，‘rf’ 。默认算法为gbdt，一般用的最多。

dart：Dropouts meet Multiple Additive Regression Trees，是利用dropout解决过拟合的Regression Trees，利用了深度神经网络中dropout设置的技巧，随机丢弃生成的决策树，然后再从剩下的决策树集中迭代优化提升树，特点是

• 因为随机dropout不使用用于保存预测结果的buffer所以训练会更慢
• 因为随机，早停可能不够稳定

    dart与gbdt的不同点：计算下一棵树要拟合的梯度的时候，仅仅随机从已经生成的树中选取一部分。 DART添加一棵树时需        要先归一化。

goss ：基本思想是首先对训练集数据根据梯度排序，预设一个比例划分梯度大小，保留在所有样本中梯度大的数据样本；再设       置一个采样比例，从梯度小的样本中按比例抽取样本。为了弥补对样本分布造成的影响，GOSS算法在计算信息增益时，会       对较小梯度的数据集乘以一个系数，用来放大。这样，在计算信息增益时，算法可以更加关注“未被充分训练”的样本数据。         GOSS通过对较小的样本数据集估算增益，大大的减少了计算量。而且通过证明，GOSS算法不会过多的降低训练的精度。

rf ：随机森林，很熟悉了。

num_leaves

因为LightGBM使用的是leaf-wise的算法，因此在调节树的复杂程度时，使用的是num_leaves而不是max_depth。大致换算关系：num_leaves = 2^(max_depth)。它的值的设置应该小于2^(max_depth)，否则可能会导致过拟合。

max_depth

每个弱学习器也就是决策树的最大深度，-1表示不限制，

n_estimators

弱学习器的数目，因为gbdt原理是利用通过梯度不断拟合新的弱学习器，直到达到设定的弱学习器的数量。

learning_rate 

Boosting learning rate. 

max_bin

为直方图算法中特征值离散化的分段数量

lightgbm.cv

lightgbm.cv(params, train_set, num_boost_round=10, folds=None, nfold=5, stratified=True, shuffle=True, metrics=None, fobj=None, feval=None, init_model=None, feature_name='auto', categorical_feature='auto', early_stopping_rounds=None, fpreproc=None, verbose_eval=None, show_stdv=True, seed=0, callbacks=None)