pyspark使用anaconda后spark-submit方法

在使用pyspark提交任务到集群时，经常会遇到服务器中python库不全或者版本不对的问题。此时可以使用参数–archives，从而使用自己的python包来解决。
实验步骤如下：

测试代码使用jieba做分词，但服务器上面没有此库：

import jieba

jieba.initialize()
from pyspark.context import SparkContext
from pyspark.conf import SparkConf

sc = SparkContext(conf=SparkConf().setAppName("mnist_parallelize"))

s = sc.parallelize([1,2,3,4,5])
s.saveAsTextFile('hhc')

将anaconda打包：

zip -r anaconda2.zip anaconda2/

上传到hdfs：

hadoop fs -put anaconda2.zip /user/xxx/tools

python上传后，在进行spark-submit时，会自动分发anaconda2的包到各个工作节点。但还需要给工作节点指定python解压路径：

spark-submit  \
--master yarn \
--deploy-mode cluster \
--num-executors 1 \
--executor-memory 1G \
--archives hdfs:///user/xxx/tools/anaconda2.zip#anaconda2 \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2/anaconda2/bin/python2 \
test.py

注：此时应特别注意解压路径，在anaconda2.zip在本地解压后，python的可执行路径为anaconda2/bin/python2，但在服务器上面会多一层。