pyspark 对xgboost操作记录(待续)

大数据集群安装搭建请参考这个链接,很详细。

1、连接pyspark,配置xgboost

pyspark版的xgboost下载链接
链接: https://pan.baidu.com/s/15_4Fr6lZCVzxqp9eZ239LA 提取码: 9gs8
里面的三个文件都放在此脚本的同级目录下(文件不用解压),后面脚本稳定之后,可以配置到spark中

import os
import pandas as pd
from pyspark.sql.functions import col
from pyspark.sql import SparkSession
from pyspark.ml import Pip

你可能感兴趣的:(pyspark,算法,xgboost,spark)