pySpark API 词频统计(5)

#1 本地计算

pyhont xx.py

#2 提交集群

spark-submit --py-files pyspark_wordcount.zip pyspark_wordcount.py

提交spark的时候,我们往往python工程是多个python文件,彼此之间有调用关系。 

那如何提交python工程呢? 

./bin/spark-submit --py-files XXXX.zip aaa.py

XXXX是你将你所有需要用到的python文件打包成一个zip文件 

aaa是你的python文件的main函数所在的py文件。

你可能感兴趣的:(pySpark API 词频统计(5))