只为此心无垠
只为此心无垠

sklearn、XGBoost、LightGBM的文档阅读小记（转载）

转载文章，原文链接sklearn、XGBoost、LightGBM的文档阅读小记

目录

  1. 1. sklearn集成方法
    1. 1.1. bagging
      1. 1.1.1. 基本思想
      2. 1.1.2. 常见变体(按照样本采样方式的不同划分)
      3. 1.1.3. sklearn-bagging
        1. 1.1.3.1. 学习器
        2. 1.1.3.2. 参数
      4. 1.1.4. sklearn-forests of randomized trees
        1. 1.1.4.1. 学习器
        2. 1.1.4.2. 调参
        3. 1.1.4.3. 方法
        4. 1.1.4.4. 特征选择
        5. 1.1.4.5. 随机森林与KNN
    2. 1.2. boosting
      1. 1.2.1. 基本思想
      2. 1.2.2. sklearn-AdaBoost
      3. 1.2.3. sklearn-GBRT
        1. 1.2.3.1. 概述
        2. 1.2.3.2. 优缺点
        3. 1.2.3.3. 学习器
        4. 1.2.3.4. 正则化
        5. 1.2.3.5. 可解释性
    3. 1.3. VotingClassifier
  2. 2. XGBoost
    1. 2.1. 过拟合
    2. 2.2. 数据类别分布不均
    3. 2.3. 调参
      1. 2.3.1. 一般参数
      2. 2.3.2. 基学习器参数
      3. 2.3.3. 任务参数
      4. 2.3.4. 命令行参数
  3. 3. LightGBM
    1. 3.1. 特点
      1. 3.1.1. 效率和内存上的提升
      2. 3.1.2. 稀疏特征优化
      3. 3.1.3. 准确率上的优化
        1. 3.1.3.1. leaf-wise(best-first)树生长策略
        2. 3.1.3.2. 直接支持类别特征
      4. 3.1.4. 网络通信优化
      5. 3.1.5. 并行学习优化
        1. 3.1.5.1. 特征并行
        2. 3.1.5.2. 数据并行
        3. 3.1.5.3. 并行投票
      6. 3.1.6. 其他特点
        1. 3.1.6.1. 直接支持类别(标称)特征
        2. 3.1.6.2. 早停止
        3. 3.1.6.3. 实践上
        4. 3.1.6.4. 支持的任务
        5. 3.1.6.5. 支持的评价指标metric
    2. 3.2. 调参
      1. 3.2.1. 核心参数
      2. 3.2.2. 训练控制参数
        1. 3.2.2.1. 防止过拟合
      3. 3.2.3. IO参数
        1. 3.2.3.1. 直方图相关
        2. 3.2.3.2. 特征相关
        3. 3.2.3.3. 内存相关
        4. 3.2.3.4. 缺失值
      4. 3.2.4. 目标参数
      5. 3.2.5. 调参小结
        1. 3.2.5.1. leaf-wise
        2. 3.2.5.2. 效率
        3. 3.2.5.3. 准确率
        4. 3.2.5.4. 过拟合
  4. 4. 总结
    1. 4.1. GBDT vs. XGBoost vs. LightGBM(论文层面)
      1. 4.1.1. GBDT vs. XGBoost
      2. 4.1.2. XGBoost vs. LightGBM
    2. 4.2. sklearn GBDT vs. XGBoost vs. LightGBM(实现层面)
      1. 4.2.1. sklearn GBDT vs. XGBoost
      2. 4.2.2. XGBoost vs. LightGBM

本文主要是针对sklearn,XGBoost,LightGBM的官方文档阅读的一些整理，主要针对sklearn的集成方法、以及gbdt族模型的具体实现差异以及各个模型的重要参数、特点做了一个整理

sklearn集成方法

集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)
主流的两种做法分别是：

bagging

基本思想

独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树)，然后综合他们的预测结果，通常集成模型的效果会优于基学习器，因为模型的方差有所降低。

常见变体(按照样本采样方式的不同划分)

  • Pasting:直接从样本集里随机抽取的到训练样本子集
  • Bagging:自助采样(有放回的抽样)得到训练子集
  • Random Subspaces:列采样,按照特征进行样本子集的切分
  • Random Patches:同时进行行采样、列采样得到样本子集

sklearn-bagging

学习器

  • BaggingClassifier
  • BaggingRegressor

参数

  • 可自定义基学习器
  • max_samples,max_features控制样本子集的大小
  • bootstrap,bootstrap_features控制是否使用自主采样法
    • 当使用自助采样法时，可以设置参数oob_score=True来通过包外估计来估计模型的泛化误差(也就不需要进行交叉验证了)

Note:方差的产生主要是不同的样本训练得到的学习器对于同一组测试集做出分类、预测结果的波动性，究其原因是基学习器可能学到了所供学习的训练样本中的局部特征或者说是拟合了部分噪声数据，这样综合不同的学习器的结果，采取多数表决(分类)或者平均(回归)的方法可以有效改善这一状况

sklearn-forests of randomized trees

学习器

  • RandomForest: 采取自主采样法构造多个基学习器，并且在学习基学习器时，不是使用全部的特征来选择最优切分点，而是先随机选取一个特征子集随后在特征子集里挑选最优特征进行切分；这种做法会使得各个基学习器的偏差略微提升，但在整体上降低了集成模型的方差，所以会得到整体上不错的模型
    • RandomForestClassifier
    • RandomForestRegressor

Notes:

  • 不同于原始的模型实现(让各个基学习器对样本的分类进行投票)，sklearn里随机森林的实现是通过将各个基学习器的预测概率值取平均来得到最终分类

  • 随机森林的行采样(bagging)和列采样(feature bagging)都是为了减小模型之间的相关性使基学习器变得不同从而减小集成模型的方差

  • Extra-Trees(extremely randomized trees):相较于rf进一步增强了随机性，rf是对各个基学习器随机挑选了部分特征来做维特征子集从中挑选最佳的特征切分，而Extra-Trees更进一步，在特征子集里挑选最佳特征时不是选择最有区分度的特征值，而是随机选择这一划分的阈值(该阈值在子特征集里的特征对应的采样后的样本取值范围里随机选取)，而不同的随机阈值下的特征中表现最佳的作为划分特征，这样其实增强了随机性，更进一步整大了基学习器的偏差但降低了整体的方差

    • ExtraTreesClassifier
    • ExtraTreesRegressor

调参

  • 最重要的两个参数
    • n_estimators:森林中树的数量，初始越多越好，但是会增加训练时间，到达一定数量后模型的表现不会再有显著的提升
    • max_features：各个基学习器进行切分时随机挑选的特征子集中的特征数目，数目越小模型整体的方差会越小，但是单模型的偏差也会上升，经验性的设置回归问题的max_features为整体特征数目，而分类问题则设为整体特征数目开方的结果
  • 其他参数
    • max_depth:树的最大深度，经验性的设置为None(即不设限，完全生长)
    • min_samples_split,节点最小分割的样本数，表示当前树节点还可以被进一步切割的含有的最少样本数；经验性的设置为1，原因同上
    • bootstrap，rf里默认是True也就是采取自助采样，而Extra-Trees则是默认关闭的，是用整个数据集的样本，当bootstrap开启时，同样可以设置oob_score为True进行包外估计测试模型的泛化能力
    • n_jobs,并行化，可以在机器的多个核上并行的构造树以及计算预测值，不过受限于通信成本，可能效率并不会说分为k个线程就得到k倍的提升，不过整体而言相对需要构造大量的树或者构建一棵复杂的树而言还是高效的
    • criterion:切分策略:gini或者entropy,默认是gini,与树相关
    • min_impurity_split–>min_impurity_decrease:用来进行早停止的参数，判断树是否进一步分支，原先是比较不纯度是否仍高于某一阈值，0.19后是判断不纯度的降低是否超过某一阈值
    • warm_start:若设为True则可以再次使用训练好的模型并向其中添加更多的基学习器
    • class_weight:设置数据集中不同类别样本的权重，默认为None,也就是所有类别的样本权重均为1，数据类型为字典或者字典列表(多类别)
      • balanced:根据数据集中的类别的占比来按照比例进行权重设置n_samples/(n_classes*np.bincount(y))
      • balanced_subsamples:类似balanced,不过权重是根据自助采样后的样本来计算

方法

  • predict(X):返回输入样本的预测类别，返回类别为各个树预测概率均值的最大值
  • predict_log_proba(X):
  • predict_proba(X):返回输入样本X属于某一类别的概率，通过计算随机森林中各树对于输入样本的平均预测概率得到，每棵树输出的概率由叶节点中类别的占比得到
  • score(X,y):返回预测的平均准确率

特征选择

特征重要性评估：一棵树中的特征的排序(比如深度)可以用来作为特征相对重要性的一个评估，居于树顶端的特征相对而言对于最终样本的划分贡献最大(经过该特征划分所涉及的样本比重最大)，这样可以通过对比各个特征所划分的样本比重的一个期望值来评估特征的相对重要性，而在随机森林中，通过对于不同树的特征的期望取一个平均可以减小评估结果的方差，以供特征选择；在sklearn中这些评估最后被保存在训练好的模型的参数featureimportances里，是各个特征的重要性值经过归一化的结果，越高代表特征越匹配预测函数

Notes:

  • 此外sklearn还有一种RandomTreesEmbedding的实现，不是很清楚有何特殊用途

随机森林与KNN

  • 相似之处：均属于所谓的权重近邻策略(weighted neighborhoods schemes):指的是，模型通过训练集来通过输入样本的近邻样本点对输入样本作出预测，通过一个带权重的函数关系

boosting

基本思想

一个接一个的(串行)训练基学习器，每一个基学习器主要用来修正前面学习器的偏差。

sklearn-AdaBoost

  • AdaBoost可用于分类和回归
    • AdaBoostClassifier
    • AdaBoostRegressor
  • 参数
    • n_estimators:基学习器数目
    • learning_rate:学习率，对应在最终的继承模型中各个基学习器的权重
    • base_estimator:基学习器默认是使用决策树桩

Notes:调参的关键参数是基学习器的数量n_estimators以及基学习器本身的复杂性比如深度max_depth或者叶节点所需的最少样本数min_samples_leaf

sklearn-GBRT

概述

Gradient Tree Boosting或者说GBRT是boosting的一种推广，是的可以应用一般的损失函数，可以处理分类问题和回归问题，应用广泛，常见应用场景比如网页搜索排序和社会生态学

优缺点

  • 优点：
    • 能够直接处理混合类型的特征
    • 对输出空间的异常值的鲁棒性(通过鲁棒的损失函数)
  • 缺点：
    • 难以并行，因为本身boosting的思想是一个接一个的训练基学习器

学习器

  • GradientBoostingClassifier

    • 支持二分类和多分类
    • 参数控制：
      • 基学习器的数量n_estimators
      • 每棵树的大小可以通过树深max_depth或者叶节点数目max_leaf_nodes来控制(注意两种树的生长方式不同，max_leaf_nodes是针对叶节点优先挑选不纯度下降最多的叶节点，这里有点LightGBM的’leaf-wise’的意味，而按树深分裂则更类似于原始的以及XGBoost的分裂方式)
      • 学习率learning_rate对应取值范围在(0,1]之间的超参数对应GBRT里的shrinkage来避免过拟合(是sklearn里的GBDT用来进行正则化的一种策略)；
      • 对于需要多分类的问题需要设置参数n_classes对应每轮迭代的回归树，这样总体树的数目是n_classes*n_estimators
      • criterion用来设置回归树的切分策略
        • friedman_mse,对应的最小平方误差的近似，加入了Friedman的一些改进
        • mse对应最小平方误差
        • mae对应平均绝对值误差
      • subsample:行采样，对样本采样，即训练每个基学习器时不再使用原始的全部数据集，而是使用一部分，并且使用随机梯度上升法来做集成模型的训练
      • 列采样：max_features在训练基学习器时使用一个特征子集来训练，类似随机森林的做法
      • early stopping:通过参数min_impurity_split(原始)以及min_impurity_decrease来实现，前者的是根据节点的不纯度是否高于阈值，若不是则停止增长树，作为叶节点；后者则根据分裂不纯度下降值是否超过某一阈值来决定是否分裂(此外这里的early stopping似乎与XGBoost里显示设置的early stopping不同，这里是控制树的切分生长，而XGBoost则是控制基学习器的数目)
        另外一点，有说这里的early_stopping起到了一种正则化的效果，因为控制了叶节点的切分阈值从而控制了模型的复杂度(可参考李航《统计学习方法》P213底部提升方法没有显式的正则化项，通常通过早停止的方法达到正则化的效果)
      • 基学习器的初始化：init,用来计算初始基学习器的预测，需要具备fit和predict方法，若未设置则默认为loss.init_estimator
      • 模型的重复使用(热启动)：warm_start,若设置为True则可以使用已经训练好的学习器，并且在其上添加更多的基学习器
      • 预排序：presort,默认设置为自动，对样本按特征值进行预排序从而提高寻找最优切分点的效率，自动模式下对稠密数据会使用预排序，而对稀疏数据则不会
      • 损失函数(loss)
        • 二分类的对数损失函数(Binomial deviance,’deviance’),提供概率估计，模型初值设为对数几率
        • 多分类的对数损失(Multinomial deviance,’deviance’),针对n_classes互斥的多分类，提供概率估计，初始模型值设为各类别的先验概率，每一轮迭代需要构建n类回归树可能会使得模型对于多类别的大数据集不太高效
        • 指数损失函数(Exponential loss),与AdaBoostClassifier的损失函数一致，相对对数损失来说对错误标签的样本不够鲁棒，只能够被用来作二分类
    • 常用方法
      • 特征重要性(feature_importances_)：进行特征重要性的评估
      • 包外估计(oob_improvement_),使用包外样本来计算每一轮训练后模型的表现提升
      • 训练误差(train_score_)
      • 训练好的基学习器集合(estimators_)
      • fit方法里可以设置样本权重sample_weight,monitor可以用来回调一些方法比如包外估计、早停止等

  • GradientBoostingRegressor

    • 支持不同的损失函数，通过参数loss设置，默认的损失函数是最小均方误差ls
    • 通过属性train_score_可获得每轮训练的训练误差，通过方法staged_predict可以获得每一阶段的测试误差，通过属性feature_importances_可以输出模型判断的特征相对重要性
    • 损失函数：
      • 最小均方误差(Least squares,’ls’),计算方便，一般初始模型为目标均值
      • 最小绝对值误差(Least absolute deviation,’lad’)，初始模型为目标中位值
      • Huber，一种结合了最小均方误差和最小绝对值误差的方法，使用参数alpha来控制对异常点的敏感情况

正则化

  • Shrinkage,对应参数learning rate一种简单的正则化的策略，通过控制每一个基学习器的贡献，会影响到基学习器的数目即n_estimators,经验性的设置为一个较小的值，比如不超过0.1的常数值，然后使用early stopping来控制基学习器的数目
  • 行采样，使用随机梯度上升，将gradient boosting与bagging相结合，每一次迭代通过采样的样本子集来训练基学习器(对应参数subsample),一般设置shrinkage比不设置要好，而加上行采样会进一步提升效果，而仅使用行采样可能效果反而不佳；而且进行行采样后可使用包外估计来计算模型每一轮训练的效果提升，保存在属性oob_improvement_里，可以用来做模型选择，但是包外预估的结果通常比较悲观，所以除非交叉验证太过耗时，否则建议结合交叉验证一起进行模型选择
  • 列采样，类似随机森林的做法，通过设置参数max_features来实现

可解释性

单一的决策树可以通过将树结构可视化来分析和解释，而梯度上升模型因为由上百课回归树组成因此他们很难像单独的决策树一样被可视化，不过也有一些技术来辅助解释模型

  • 特征重要性(featureimportances属性)，决策树在选择最佳分割点时间接地进行了特征的选择，而这一信息可以用来评估每一个特征的重要性，基本思想是一个特征越经常地被用来作为树的切分特征(更加说明使用的是CART树或其变体，因为ID3,C4.5都是特征用过一次后就不再用了)，那么这个特征就越重要，而对于基于树的集成模型而言可以通过对各个树判断的特征重要性做一个平均来表示特征的重要性
  • PDP(Partial dependence plots),可以用来绘制目标响应与目标特征集的依赖关系(控制其他的特征的值)，受限于人类的感知，目标特征集合一般设置为1或2才能绘制对应的图形(plot_partial_dependence)，也可以通过函数partial_dependence来输出原始的值

Notes:

  • GradientBoostingClassifier和GradientBoostingRegressor均支持对训练好的学习器的复用，通过设置warm_start=True可以在已经训练好的模型上添加更多的基学习器

VotingClassifier

Voting的基本思想是将不同学习器的结果进行硬投票(多数表决)或者软投票(对预测概率加权平均)来对样本类别做出预估，其目的是用来平衡一些表现相当且都还不错的学习器的表现，以消除它们各自的缺陷

  • 硬投票(voting=’hard’)：按照多数表决原则，根据分类结果中多数预测结果作为输入样本的预测类别，如果出现类别数目相同的情况，会按照预测类别的升序排序取前一个预测类别(比如模型一预测为类别‘2’，模型二预测为类别‘1’则样本会被判为类别1)
  • 软投票：对不同基学习器的预测概率进行加权平均(因此使用软投票的基学习器需要能够预测概率)，需设置参数wights为一个列表表示各个基学习器的权重值

XGBoost

过拟合

XGBoost里可以使用两种方式防止过拟合

  • 直接控制模型复杂度
    • max_depth,基学习器的深度，增加该值会使基学习器变得更加复杂，荣易过拟合，设为0表示不设限制，对于depth-wise的基学习器学习方法需要控制深度
    • min_child_weight，子节点所需的样本权重和(hessian)的最小阈值，若是基学习器切分后得到的叶节点中样本权重和低于该阈值则不会进一步切分，在线性模型中该值就对应每个节点的最小样本数，该值越大模型的学习约保守，同样用于防止模型过拟合
    • gamma，叶节点进一步切分的最小损失下降的阈值(超过该值才进一步切分)，越大则模型学习越保守，用来控制基学习器的复杂度(有点LightGBM里的leaf-wise切分的意味)
  • 给模型训练增加随机性使其对噪声数据更加鲁棒
    • 行采样：subsample
    • 列采样：colsample_bytree
    • 步长：eta即shrinkage

数据类别分布不均

对于XGBoost来说同样是两种方式

  • 若只关注预测的排序表现(auc)
    • 调整正负样本的权重，使用scale_pos_weight
    • 使用auc作为评价指标
  • 若关注预测出正确的概率值，这种情况下不能调整数据集的权重，可以通过设置参数max_delta_step为一个有限值比如1来加速模型训练的收敛

调参

一般参数

主要用于设置基学习器的类型

  • 设置基学习器booster
    • 基于树的模型
      • gbtree
      • dart
    • 线性模型
      • gblinear
  • 线程数nthread,设置并行的线程数，默认是最大线程数

基学习器参数

在基学习器确定后，根据基学习器来设置的一些个性化的参数

  • eta,步长、学习率，每一轮boosting训练后可以得到新特征的权重，可以通过eta来适量缩小权重，使模型的学习过程更加保守一点，以防止过拟合

  • gamma，叶节点进一步切分的最小损失下降的阈值(超过该值才进一步切分)，越大则模型学习越保守，用来控制基学习器的复杂度(有点LightGBM里的leaf-wise切分的意味)

  • max_depth,基学习器的深度，增加该值会使基学习器变得更加复杂，荣易过拟合，设为0表示不设限制，对于depth-wise的基学习器学习方法需要控制深度

  • min_child_weight，子节点所需的样本权重和(hessian)的最小阈值，若是基学习器切分后得到的叶节点中样本权重和低于该阈值则不会进一步切分，在线性模型中该值就对应每个节点的最小样本数，该值越大模型的学习约保守，同样用于防止模型过拟合

  • max_delta_step,树的权重的最大估计值，设为0则表示不设限，设为整数会是模型学习相对保守，一般该参数不必设置，但是对于基学习器是LR时，在针对样本分布极为不均的情况控制其值在1~10之间可以控制模型的更新

  • 行采样：subsample，基学习器使用样本的比重

  • 列采样：

    • colsample_bytree，用于每棵树划分的特征比重
    • colsample_bylevel,用于每层划分的特征比重

  • 显式正则化,增加该值是模型学习更为保守

    • L1:alpha
    • L2:lambda

  • tree_method,树的构建方法，准确的说应该是切分点的选择算法，包括原始的贪心、近似贪心、直方图算法(可见LightGBM这里并不是一个区别)

    • auto,启发式地选择分割方法，近似贪心或者贪心
    • exact,原始的贪心算法，既针对每一个特征值切分一次
    • approx,近似的贪心算法选取某些分位点进行切分，使用sketching和histogram
    • hist,直方图优化的贪心算法，对应的参数有grow_policy,max_bin
    • gpu_exact
    • gpu_hist

  • scale_pos_weight,针对数据集类别分布不均，典型的值可设置为

    sum(negativecases)sum(positivecases)

  • grow_policy,控制树的生长方式，目前只有当树的构建方法tree_method设置为hist时才可以使用所谓的leaf-wise生长方式

    • depthwise,按照离根节点最近的节点进行分裂
    • lossguide，优先分裂损失变化大的节点，对应的一个参数还有max_leaves,表示可增加的最大的节点数

  • max_bin,同样针对直方图算法tree_method设置为hist时用来控制将连续特征离散化为多个直方图的直方图数目

  • predictor,选择使用GPU或者CPU

    • cpu_predictor
    • gpu_predictor

任务参数

根据任务、目的设置的参数，比如回归任务与排序任务的目的是不同的

  • objective，训练目标，分类还是回归
    • reg:linear,线性回归
    • reg:logistic,逻辑回归
    • binary:logistic,使用LR二分类，输出概率
    • binary:logitraw,使用LR二分类，但在进行logistic转换之前直接输出分类得分
    • count:poisson,泊松回归
    • multi:softmax,使用softmax进行多分类，需要设置类别数num_class
    • multi:softprob
    • rank:pairwise,进行排序任务，最小化pairwise损失
    • reg:gamma,gamma回归
    • reg:tweedie,tweedie回归
  • 评价指标eval_metric,默认根据目标函数设置，针对验证集，默认情况下，最小均方误差用于回归，错分用于分类，平均精确率用于排序等，可以同时使用多个评估指标，在python里使用列表来放置
    • 均方误差rmse
    • 平均绝对值误差mae
    • 对数损失logloss,负的对数似然
    • 错误率error,根据0.5作为阈值判断的错分率
    • 自定义阈值错分率error@t
    • 多分类错分率merror
    • 多分类对数损失mlogloss
    • auc主要用来排序
    • ndcg,normalized discounted cumulative gain及其他的一些针对泊松回归等问题的评价指标

命令行参数

  • num_round迭代次数，也对应基学习器数目
  • task当前对模型的任务，包括
    • 训练train
    • 预测pred
    • 评估/验证eval
    • 导出模型dump
  • 导入导出模型的路径model_in和model_out
  • fmap,feature map用来导出模型

LightGBM

特点

效率和内存上的提升

直方图算法，LightGBM提供一种数据类型的封装相对Numpy,Pandas,Array等数据对象而言节省了内存的使用，原因在于他只需要保存离散的直方图，LightGBM里默认的训练决策树时使用直方图算法，XGBoost里现在也提供了这一选项，不过默认的方法是对特征预排序，直方图算法是一种牺牲了一定的切分准确性而换取训练速度以及节省内存空间消耗的算法

  • 在训练决策树计算切分点的增益时，预排序需要对每个样本的切分位置计算，所以时间复杂度是O(#data)而LightGBM则是计算将样本离散化为直方图后的直方图切割位置的增益即可，时间复杂度为O(#bins),时间效率上大大提高了(初始构造直方图是需要一次O(#data)的时间复杂度，不过这里只涉及到加和操作)
  • 直方图做差进一步提高效率，计算某一节点的叶节点的直方图可以通过将该节点的直方图与另一子节点的直方图做差得到，所以每次分裂只需计算分裂后样本数较少的子节点的直方图然后通过做差的方式获得另一个子节点的直方图，进一步提高效率
  • 节省内存
    • 将连续数据离散化为直方图的形式，对于数据量较小的情形可以使用小型的数据类型来保存训练数据
    • 不必像预排序一样保留额外的对特征值进行预排序的信息
  • 减少了并行训练的通信代价

稀疏特征优化

对稀疏特征构建直方图时的时间复杂度为O(2*#非零数据)

准确率上的优化

LEAF-WISE(BEST-FIRST)树生长策略

相对于level-wise的生长策略而言，这种策略每次都是选取当前损失下降最多的叶节点进行分割使得整体模型的损失下降得更多，但是容易过拟合(特别当数据量较小的时候)，可以通过设置参数max_depth来控制树身防止出现过拟合

Notes:XGBoost现在两种方式都是支持的

直接支持类别特征

对于类别类型特征我们原始的做法是进行独热编码，但是这种做法对于基于树的模型而言不是很好，对于基数较大的类别特征，可能会生成非常不平衡的树并且需要一颗很深的树才能达到较好的准确率；比较好的做法是将类别特征划分为两个子集，直接划分方法众多(2^(k-1)-1)，对于回归树而言有一种较高效的方法只需要O(klogk)的时间复杂度，基本思想是对类别按照与目标标签的相关性进行重排序，具体一点是对于保存了类别特征的直方图根据其累计值(sum_gradient/sum_hessian)重排序,在排序好的直方图上选取最佳切分位置

网络通信优化

使用collective communication算法替代了point-to-point communication算法提升了效率

并行学习优化

特征并行

特征并行是为了将寻找决策树的最佳切分点这一过程并行化

  • 传统做法
    • 对数据列采样，即不同的机器上保留不同的特征子集
    • 各个机器上的worker根据所分配的特征子集寻找到局部的最优切分点(特征、阈值)
    • 互相通信来从局部最佳切分点里得到最佳切分点
    • 拥有最佳切分点的worker执行切分操作，然后将切分结果传送给其他的worker
    • 其他的worker根据接收到的数据来切分数据
    • 传统做法的缺点
      • 计算量太大，并没有提升切分的效率，时间复杂度为O(#data)(因为每个worker持有所有行，需要处理全部的记录),当数据量较大时特征并行并不能提升速度
      • 切分结果的通信代价，大约为O(#data/8)(若一个数据样本为1bit)
  • LightGBM的做法
    让每个机器保留整个完整的数据集(并不是经过列采样的数据)，这样就不必在切分后传输切分结果数据，因为每个机器已经持有完整的数据集
    • 各个机器上的worker根据所分配的特征子集寻找到局部的最优切分点(特征、阈值)
    • 互相通信来从局部最佳切分点里得到最佳切分点
    • 执行最优切分操作

Notes:典型的空间换时间，差别就是减少了传输切分结果的步骤，节省了这里的通信消耗

数据并行

上述特征并行的方法并没有根本解决寻找切分点的计算效率问题，当记录数过大时需要考虑数据并行的方法

  • 传统做法
    • 行采样，对数据进行横向切分
    • worker使用分配到的局部数据构建局部的直方图
    • 合并局部直方图得到全局的直方图
    • 对全局直方图寻找最优切分点，然后进行切分
    • 缺点：通信代价过高，若使用point-to-point的通信算法，每个机器的通信代价时间复杂度为O(#machine#feature#bin),若使用collective通信算法则通信代价为O(2#feature#bin)
  • LightGBM的做法(依然是降低通信代价)
    • 不同于合并所有的局部直方图获得全局的直方图，LightGBM通过Reduce Scatter方法来合并不同worker的无交叉的不同特征的直方图，这样找到该直方图的局部最优切分点，最后同步到全局最优切分点
    • 基于直方图做差的方法，在通信的过程中可以只传输某一叶节点的直方图，而对于其邻居可通过做差的方式得到
    • 通信的时间复杂度为O(0.5#feature#bin)

并行投票

进一步减小了数据并行中的通信代价，通过两轮的投票来减小特征直方图中的通信消耗

其他特点

直接支持类别(标称)特征

LightGBM可以直接用类别特征进行训练，不必预先进行独热编码，速度会提升不少，参数设置categorical_feature来指定数据中的类别特征列

早停止

sklearn-GBDT,XGBoost,LightGBM都支持早停止，不过在细节上略有不同

  • sklearn-GBDT中的early stopping是用来控制基学习器的生长的:通过参数min_impurity_split(原始)以及min_impurity_decrease来实现，前者的是根据节点的不纯度是否高于阈值，若不是则停止增长树，作为叶节点；后者则根据分裂不纯度下降值是否超过某一阈值来决定是否分裂(此外这里的early stopping似乎与XGBoost里显示设置的early stopping不同，这里是控制树的切分生长，而XGBoost则是控制基学习器的数目)
  • XGBoost和LightGBM里的early_stopping则都是用来控制基学习器的数目的
    • 两者都可以使用多组评价指标，但是不同之处在于XGBoost会根据指标列表中的最后一项指标控制模型的早停止，而LightGBM则会受到所有的评估指标的影响
    • 在使用early stopping控制迭代次数后，模型直接返回的是最后一轮迭代的学习器不一定是最佳学习器，而在做出预测时可以设置参数选择某一轮的学习器作出预测
      • XGBoost里保存了三种状态的学习器，分别是bst.best_score, bst.best_iteration, bst.best_ntree_limit,官方的建议是在做预测时设置为bst.best_ntree_limit，实际使用时感觉bst.best_iteration和 bst.best_ntree_limit的表现上区别不大
      • LightGBM则仅提供了bst.best_iteration这一种方式

实践上

  • 内置cv
  • 支持带权重的数据输入
  • 可以保留模型
  • DART
  • L1/L2回归
  • 保存模型进行进一步训练
  • 多组验证集

支持的任务

  • 回归任务
  • 分类(二分类、多分类)
  • 排序

支持的评价指标METRIC

  • 绝对值误差l1
  • 平方误差l2
  • 均方误差l2_root
  • 对数损失binary_logloss,multi_logloss
  • 分类误差率binary_error,multi_error
  • auc
  • ndcg
  • 多分类对数损失
  • 多分类分类误差率

调参

核心参数

  • 叶节点数num_leaves,与模型复杂度直接相关(leaf-wise)
  • 任务目标
    • 回归regression,对应的损失函数如下
      • regression_l1,加了l1正则的回归，等同于绝对值误差
      • regression_l2，等同于均方误差
      • huber,Huber Loss
      • fair,Fair Loss
      • poisson,泊松回归
    • 分类
      • binary,二分类
      • multiclass,多分类
    • 排序
      • lambdarank
  • 模型
    • boosting
      • gbdt,传统的梯度提升决策树
      • rf，随机森林
      • dart,Dropouts meet Multiple Additive Regression Trees
      • goss,Gradient-based One-Side Sampling
  • 迭代次数num_iterations,对于多分类问题，LightGBM会构建num_class*num_iterations的树
  • 学习率/步长learning_rate,即shrinkage
  • 树的训练方式tree_learner,主要用来控制树是否并行化训练
    • serial,单机的树学习器
    • feature,特征并行的树学习器
    • data,数据并行的树学习器
  • 线程数num_threads
  • 设备device,使用cpu还是gpu
    • cpu
    • gpu

训练控制参数

防止过拟合

  • 树的最大深度max_depth,主要用来避免模型的过拟合，设为负数值则表明不限制
  • 叶节点的最少样本数min_data_in_leaf
  • 叶节点的最小海森值之和min_sum_hessian_in_leaf
  • 列采样feature_fraction,每棵树的特征子集占比，设置在0~1之间，可以加快训练速度，避免过拟合
  • 行采样bagging_fraction,不进行重采样的随机选取部分样本数据，此外需要设置参数bagging_freq来作为采样的频率，即多少轮迭代做一次bagging；
  • 早停止early_stopping_roung，在某一验证数据的某一验证指标当前最后一轮迭代没有提升时停止迭代
  • 正则化
    • lambda_l1
    • lambda_l2
  • 切分的最小收益min_gain_to_split

IO参数

直方图相关

  • 最大直方图数max_bin,特征值装载的最大直方图数目，一般较小的直方图数目会降低训练的准确性但会提升整体的表现，处理过拟合
  • 直方图中最少样本数min_data_in_bin，设置每个直方图中样本数的最小值，同样防止过拟合

特征相关

  • 是否预排序is_pre_partition
  • 是否稀疏is_sparse
  • 类别特征列categorical_feature,声明类别特征对应的列(通过索引标记)，仅支持int类型
  • 声明权重列weight,指定一列作为权重列

内存相关

  • 分阶段加载数据two_round,一般LightGBM将数据载入内存进行处理，这样会提升数据的加载速度，但是对于数据量较大时会造成内存溢出，所以此时需要分阶段载入
  • 保存数据为二进制save_binary,将数据文件导出为二进制文件，下次加载数据时就会更快一些

缺失值

  • 是否处理缺失值use_missing
  • 是否将0值作为缺失值zeros_as_missing

目标参数

  • sigmoid,sigmoid函数中的参数，用于二分类和排序任务
  • scale_pos_weight,设置正例在二分类任务中的样本占比
  • 初始化为均值boost_from_average,调整初始的分数为标签的均值，加速模型训练的收敛速度，仅用于回归任务
  • 样本类别是否不平衡is_unbalance
  • num_class,用于多分类

调参小结

LEAF-WISE

  • num_leaves,对于leaf-wise的模型而言该参数是用来控制模型复杂度的主要参数，理论上可以通过设置num_leaves=2(max_depth)来设置该参数值，实际是不可取的，因为在节点数目相同的前提下，对于leaf-wise的模型会倾向于生成深度更深的模型，如果生硬的设置为2(max_depth)可能会造成模型的过拟合，一般设置的值小于2^(max_depth)，
  • min_data_in_leaf，在设置了叶节点数后，该值会对模型复杂度造成影响，若设的较大则树不会生长的很深，但可能造成模型的欠拟合
  • max_depth

效率

  • bagging_fraction和bagging_freq,使用bagging进行行采样提升训练速度(减小了数据集)
  • feature_fraction,列采样
  • 设置较少的直方图数目，max_bin
  • 保存数据为二进制文件以便于未来训练时能快速加载,save_binary
  • 通过并行训练来提速

准确率

  • 设置较大的直方图数目max_bin,当然这样会牺牲训练速度
  • 使用较小的学习率learning_rate,这样会增加迭代次数
  • 设置较大的叶节点数num_leaves,可能造成模型过拟合
  • 使用较大的训练数据
  • 尝试dart模型

过拟合

  • 设置较少的直方图数目，max_bin
  • 设置较小的叶节点数num_leaves
  • 设置参数min_data_in_leaf和min_sum__hessian_in_leaf
  • 使用bagging进行行采样bagging_fraction和bagging_freq
  • feature_fraction,列采样
  • 使用较大的训练数据
  • 正则化
    • lambda_l1
    • lambda_l2
    • 切分的最小收益min_gain_to_split
  • 控制树深max_depth

总结

GBDT vs. XGBoost vs. LightGBM(论文层面)

GBDT vs. XGBoost

  • GBDT无显式正则化
  • GBDT仅使用了目标函数一阶泰勒展开，而XGBoost使用了二阶的泰勒展开值
    • 为什么二阶展开？
      • 一说加快收敛速度
      • 另外有说本身模型训练的学习率shrinkage可以通过二阶导数做一个逼近，而原始的GBDT没有计算这个，所以一般是通过预设的超参数eta人为指定
  • XGBoost加入了列采样
  • XGBoost对缺失值的处理
  • XGBoost通过预排序的方法来实现特征并行，提高模型训练效率
  • XGBoost支持分布式计算

XGBoost vs. LightGBM

  • 树的切分策略不同
    • XGBoost是level-wise而LightGBM是leaf-wise
  • 实现并行的方式不同
    • XGBoost是通过预排序的方式
    • LightGBM则是通过直方图算法
  • LightGBM直接支持类别特征，对类别特征不必进行独热编码处理

sklearn GBDT vs. XGBoost vs. LightGBM(实现层面)

实际在库的实现层面原始论文里的很多区别是不存在的，差异更多在一些工程上的性能优化

sklearn GBDT vs. XGBoost

  • 正则化方式不同
    • sklearn GBDT中仅仅通过学习率来做一个正则化(影响到基学习器的数目)，此外gbdt里的early stopping也达到了一个正则化的效果，对应的主要参数是min_impurity_split即控制了判断叶节点是否进一步切分的不纯度的阈值，若超过该阈值则可以进一步切分，否则不行，故而控制了树的深度即控制了基学习器的复杂度
    • XGBoost除了学习率以外还有显示的设置正则化项l1,l2以及对应论文里的叶节点数(对应参数gamma)以及节点权重和(参数min_child_weight)来控制模型复杂度
  • GBDT仅使用了目标函数一阶泰勒展开，而XGBoost使用了二阶的泰勒展开值
  • XGBoost自有一套对缺失值的处理方法
  • early-stopping意义不同
    • sklearn GBDT中控制基学习器进一步切分、生长
    • XGBoost控制基学习器的数目
  • 特征重要性的判断标准
    • sklearn GBDT是根据树的节点特征对应的深度来判断
    • XGBoost则有三种方法(get_score)
      • weight:特征用来作为切分特征的次数
      • gain:使用特征进行切分的平均增益
      • cover:各个树中该特征平均覆盖情况(根据样本？)
  • 树的切分算法
    • XGBoost存在三种切分方法，
      • 原始的贪心算法(每个特征值切分)
      • 近似贪心(分位点切分)(使得对于大量的特征取值尤其是连续变量时XGBoost会比sklearn-gbdt快很多)
      • 直方图算法
  • XGBoost支持level-wise和leaf-wise两种树的生长方式
  • XGBoost支持GPU
  • XGBoost支持多种评价标准、支持多种任务(回归、分类、排序)

XGBoost vs. LightGBM

XGBoost目前已经实现了LightGBM之前不同的一些方法比如直方图算法，两者的区别更多的在与LightGBM优化通信的的一些处理上

  • LightGBM直接支持类别特征，可以不必预先进行独热编码，提高效率(categorical_feature)
  • 优化通信代价
    • 特征并行
    • 数据并行
    • point to point communication–>collective communication
  • 使用多项评价指标同时评价时两者的早停止策略不同，XGBoost是根据评价指标列表中的最后一项来作为停止标准，而LightGBM则受到所有评价指标的影响

参考资料

  • wikipedia
  • scikit-learn
  • LightGBM_doc
  • XGBoost_doc

你可能感兴趣的:(sklearn、XGBoost、LightGBM的文档阅读小记（转载）)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • java类加载顺序 3213213333332132 java
    package com.demo; /** * @Description 类加载顺序 * @author FuJianyong * 2015-2-6上午11:21:37 */ public class ClassLoaderSequence { String s1 = "成员属性"; static String s2 = "
  • Hibernate与mybitas的比较 BlueSkator sqlHibernate框架ibatisorm
    第一章     Hibernate与MyBatis Hibernate 是当前最流行的O/R mapping框架，它出身于sf.net，现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。 MyBatis 参考资料官网：http:
  • php多维数组排序以及实际工作中的应用 dcj3sjt126com PHPusortuasort
    自定义排序函数返回false或负数意味着第一个参数应该排在第二个参数的前面, 正数或true反之, 0相等usort不保存键名uasort 键名会保存下来uksort 排序是对键名进行的 <!doctype html> <html lang="en"> <head> <meta charset="utf-8&q
  • DOM改变字体大小 周华华 前端
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • c3p0的配置 g21121 c3p0
    c3p0是一个开源的JDBC连接池，它实现了数据源和JNDI绑定，支持JDBC3规范和JDBC2的标准扩展。c3p0的下载地址是：http://sourceforge.net/projects/c3p0/这里可以下载到c3p0最新版本。 以在spring中配置dataSource为例： <!-- spring加载资源文件 --> <bean name="prope
  • Java获取工程路径的几种方法 510888780 java
    第一种： File f = new File(this.getClass().getResource("/").getPath()); System.out.println(f); 结果: C:\Documents%20and%20Settings\Administrator\workspace\projectName\bin 获取当前类的所在工程路径; 如果不加“
  • 在类Unix系统下实现SSH免密码登录服务器 Harry642 免密ssh
    1.客户机     (1)执行ssh-keygen -t rsa -C "[email protected]"生成公钥，xxx为自定义大email地址     (2)执行scp ~/.ssh/id_rsa.pub root@xxxxxxxxx:/tmp将公钥拷贝到服务器上，xxx为服务器地址     (3)执行cat
  • Java新手入门的30个基本概念一 aijuans javajava 入门新手
    在我们学习Java的过程中,掌握其中的基本概念对我们的学习无论是J2SE,J2EE,J2ME都是很重要的,J2SE是Java的基础,所以有必要对其中的基本概念做以归纳,以便大家在以后的学习过程中更好的理解java的精髓,在此我总结了30条基本的概念。　　Java概述:　　目前Java主要应用于中间件的开发(middleware)---处理客户机于服务器之间的通信技术,早期的实践证明,Java不适合
  • Memcached for windows 简单介绍 antlove javaWebwindowscachememcached
    1. 安装memcached server a. 下载memcached-1.2.6-win32-bin.zip b. 解压缩，dos 窗口切换到 memcached.exe所在目录，运行memcached.exe -d install c.启动memcached Server,直接在dos窗口键入 net start "memcached Server&quo
  • 数据库对象的视图和索引 百合不是茶 索引oeacle数据库视图
      视图     视图是从一个表或视图导出的表，也可以是从多个表或视图导出的表。视图是一个虚表，数据库不对视图所对应的数据进行实际存储，只存储视图的定义，对视图的数据进行操作时,只能将字段定义为视图,不能将具体的数据定义为视图       为什么oracle需要视图;    &
  • Mockito(一) --入门篇 bijian1013 持续集成mockito单元测试
            Mockito是一个针对Java的mocking框架，它与EasyMock和jMock很相似，但是通过在执行后校验什么已经被调用，它消除了对期望 行为（expectations）的需要。其它的mocking库需要你在执行前记录期望行为（expectations），而这导致了丑陋的初始化代码。  &nb
  • 精通Oracle10编程SQL(5)SQL函数 bijian1013 oracle数据库plsql
    /* * SQL函数 */ --数字函数 --ABS(n):返回数字n的绝对值 declare v_abs number(6,2); begin v_abs:=abs(&no); dbms_output.put_line('绝对值：'||v_abs); end; --ACOS(n):返回数字n的反余弦值，输入值的范围是-1~1，输出值的单位为弧度
  • 【Log4j一】Log4j总体介绍 bit1129 log4j
    Log4j组件：Logger、Appender、Layout   Log4j核心包含三个组件：logger、appender和layout。这三个组件协作提供日志功能： 日志的输出目标 日志的输出格式 日志的输出级别(是否抑制日志的输出)  logger继承特性 A logger is said to be an ancestor of anothe
  • Java IO笔记 白糖_ java
    public static void main(String[] args) throws IOException { //输入流 InputStream in = Test.class.getResourceAsStream("/test"); InputStreamReader isr = new InputStreamReader(in); Bu
  • Docker 监控 ronin47 docker监控
             目前项目内部署了docker，于是涉及到关于监控的事情，参考一些经典实例以及一些自己的想法，总结一下思路。 1、关于监控的内容 监控宿主机本身 监控宿主机本身还是比较简单的，同其他服务器监控类似，对cpu、network、io、disk等做通用的检查，这里不再细说。 额外的，因为是docker的
  • java-顺时针打印图形 bylijinnan java
    一个画图程序 要求打印出： 1.int i=5; 2.1 2 3 4 5 3.16 17 18 19 6 4.15 24 25 20 7 5.14 23 22 21 8 6.13 12 11 10 9 7. 8.int i=6 9.1 2 3 4 5 6 10.20 21 22 23 24 7 11.19
  • 关于iReport汉化版强制使用英文的配置方法 Kai_Ge iReport汉化英文版
    对于那些具有强迫症的工程师来说，软件汉化固然好用，但是汉化不完整却极为头疼，本方法针对iReport汉化不完整的情况，强制使用英文版，方法如下： 在 iReport 安装路径下的 etc/ireport.conf 里增加红色部分启动参数，即可变为英文版。   # ${HOME} will be replaced by user home directory accordin
  • [并行计算]论宇宙的可计算性 comsci 并行计算
          现在我们知道,一个涡旋系统具有并行计算能力.按照自然运动理论,这个系统也同时具有存储能力,同时具备计算和存储能力的系统,在某种条件下一般都会产生意识......       那么,这种概念让我们推论出一个结论     &nb
  • 用OpenGL实现无限循环的coverflow dai_lm androidcoverflow
    网上找了很久，都是用Gallery实现的，效果不是很满意，结果发现这个用OpenGL实现的，稍微修改了一下源码，实现了无限循环功能 源码地址： https://github.com/jackfengji/glcoverflow public class CoverFlowOpenGL extends GLSurfaceView implements GLSurfaceV
  • JAVA数据计算的几个解决方案1 datamachine javaHibernate计算
    老大丢过来的软件跑了10天，摸到点门道，正好跟以前攒的私房有关联，整理存档。 -----------------------------华丽的分割线-------------------------------------     数据计算层是指介于数据存储和应用程序之间，负责计算数据存储层的数据，并将计算结果返回应用程序的层次。J  &nbs
  • 简单的用户授权系统,利用给user表添加一个字段标识管理员的方式 dcj3sjt126com yii
    怎么创建一个简单的(非 RBAC)用户授权系统 通过查看论坛，我发现这是一个常见的问题，所以我决定写这篇文章。 本文只包括授权系统.假设你已经知道怎么创建身份验证系统(登录)。 数据库 首先在 user 表创建一个新的字段(integer 类型),字段名 'accessLevel',它定义了用户的访问权限 扩展 CWebUser 类 在配置文件(一般为 protecte
  • 未选之路 dcj3sjt126com 诗
    作者:罗伯特*费罗斯特   黄色的树林里分出两条路, 可惜我不能同时去涉足, 我在那路口久久伫立, 我向着一条路极目望去, 直到它消失在丛林深处.   但我却选了另外一条路, 它荒草萋萋,十分幽寂; 显得更诱人,更美丽, 虽然在这两条小路上, 都很少留下旅人的足迹.   那天清晨落叶满地, 两条路都未见脚印痕迹. 呵,留下一条路等改日再
  • Java处理15位身份证变18位 蕃薯耀 18位身份证变15位15位身份证变18位身份证转换
      15位身份证变18位，18位身份证变15位 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 201
  • SpringMVC4零配置--应用上下文配置【AppConfig】 hanqunfeng springmvc4
    从spring3.0开始，Spring将JavaConfig整合到核心模块，普通的POJO只需要标注@Configuration注解，就可以成为spring配置类，并通过在方法上标注@Bean注解的方式注入bean。   Xml配置和Java类配置对比如下： applicationContext-AppConfig.xml   <!-- 激活自动代理功能 参看：
  • Android中webview跟JAVASCRIPT中的交互 jackyrong JavaScripthtmlandroid脚本
      在android的应用程序中,可以直接调用webview中的javascript代码,而webview中的javascript代码,也可以去调用ANDROID应用程序(也就是JAVA部分的代码).下面举例说明之: 1 JAVASCRIPT脚本调用android程序    要在webview中,调用addJavascriptInterface(OBJ,int
  • 8个最佳Web开发资源推荐 lampcy 编程Web程序员
    Web开发对程序员来说是一项较为复杂的工作，程序员需要快速地满足用户需求。如今很多的在线资源可以给程序员提供帮助，比如指导手册、在线课程和一些参考资料，而且这些资源基本都是免费和适合初学者的。无论你是需要选择一门新的编程语言，或是了解最新的标准，还是需要从其他地方找到一些灵感，我们这里为你整理了一些很好的Web开发资源，帮助你更成功地进行Web开发。 这里列出10个最佳Web开发资源，它们都是受
  • 架构师之面试------jdk的hashMap实现 nannan408 HashMap
    1.前言。   如题。 2.详述。   (1)hashMap算法就是数组链表。数组存放的元素是键值对。jdk通过移位算法（其实也就是简单的加乘算法），如下代码来生成数组下标(生成后indexFor一下就成下标了）。 static int hash(int h) { h ^= (h >>> 20) ^ (h >>>
  • html禁止清除input文本输入缓存 Rainbow702 html缓存input输入框change
    多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。 如果不想让浏览器缓存input的值，有2种方法： 方法一： 在不想使用缓存的input中添加 autocomplete="off";  <input type="text" autocomplete="off" n
  • POJO和JavaBean的区别和联系 tjmljw POJOjava beans
    POJO 和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Pure Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比 POJO复杂很多， Java Bean 是可复用的组件，对 Java Bean 并没有严格的规
  • java中单例的五种写法 liuxiaoling java单例
    /** * 单例模式的五种写法： * 1、懒汉 * 2、恶汉 * 3、静态内部类 * 4、枚举 * 5、双重校验锁 */ /** * 五、 双重校验锁，在当前的内存模型中无效 */ class LockSingleton { private volatile static LockSingleton singleton; pri
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他