xgboost 训练大数据，内存不够 out of memory

       如果要训练（测试）的样本很多，达到上百上千万，单机载入不了内存时，可以采用如下方法：

1、生成libsvm文件

       将要处理的数据分批（比如一次读10000行/个样本）读入内存，缺失值填充、特征过程等处理完毕之后，使用sklearn.datasets.dump_svmlight_file()将其转为libsvm数据格式保存到磁盘；libsvm格式也是每行一个样本，所以多个文件很容易合并（比如使用linux命令：cat file1>> file2）。

2、构造xgb.DMatrix

      构造xgb.DMatrix时，采用指定libsvm文件的方式，并在libsvm文件名末尾加上缓存文件名，格式为：filename#cacheprefix

      filename就是合并后的libsvm文件，cacheprefix就是自己指定一个文件名，用来给xgb缓存使用（这个文件不必提前自己创建）。

例如：

      dtain = xgb.DMatrix(data = './data/engineering_data/mylibsvm#dtrain.cache')

      这里filename = './data/engineering_data/mylibsvm'，cacheprefix = 'dtrain.cache'

     上述语句执行后，“代码文件所在的路径”下就会产生xgb需要使用的缓存文件，这样xgb就不必将所有的训练（测试）数据都放在内存中。

3、总结

     1、首先主要是构造大的libsvm文件

     2、然后构造DMatrix，使用指定libsvm文件并加上一个缓存文件名，而不是采用内存方式（DataFrame等）

 

参考文献：

https://xgboost.readthedocs.io/en/latest/tutorials/external_memory.html