pyspark基础教程

pyspark基础教程

下面一段代码是简单教程,对与如何向spark 集群提交代码任务,无论文档和博客都有很多说法,其实很简单,只要在脚本中setMaster(“spark://192.168.10.182:7077”),
spark://192.168.10.182:7077是master的url,
192.168.10.182是master的ip
7077是端口号

conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")

代码只在本地运行

conf=SparkConf().setAppName("miniProject").setMaster("local[*]")

全部代码

import pyspark
from pyspark import SparkContext as sc
from pyspark import SparkConf
#conf=SparkConf().setAppName("miniProject").setMaster("local[*]")
conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")
sc=sc.getOrCreate(conf)

#（a）利用list创建一个RDD;使用sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame转成Spark RDD。
rdd = sc.parallelize(list(range(10**2)))
#print(rdd)
#Output:ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480

#（b）getNumPartitions()方法查看list被分成了几部分
print(rdd.getNumPartitions() )

我的代码都在anaconda 的spyder里编写,
如何对spyder 配置spark请看我的这篇博客
如何对spyder 配置spark