Spark从入门到精通35：在eclipse中直接使用spark-submit提交Spark任务

通常在开发Spark任务的时候，都是先在本地主机的IDE中开发完Spark任务，然后上传到Spark集群，最后通过命令行提交并运行，这样很不方便。本节就来介绍一种直接在Eclipse IDE中通过调用外部工具spark-submit来直接提交spark任务的简便方法。

这里以提交Python任务为例进行说明环境搭建。（Java和Scala类似）

1.下载安装Eclipse Scala IDE

为了便于说明，我直接在Spark集群测试环境的master节点上装上图形化界面。然后去Scala IDE官网下载Linux对应版本的eclipse并安装。这个过程很简单，不做详述。

2.安装PyDev插件

启动Eclipse，依次点击Help —— Install New Software… —— Add —— Name输入：PyDev，Location输入：https//dl.bintray.com/fabioz/pydev/7.1.0/ —— OK —— 在列出的资源中勾选PyDev —— next —— next —— 选择”I accept …” —— Finish。耐心等待安装完成，然后重启Eclipse即可。

3.设置字符串替代变量

启动Eclipse，依次点击Window —— Preferences —— Run/Debug —— String Substitution —— New —— Name输入：SPARK_HOME，Value输入：Spark实际安装位置 —— OK。

以同样的方式，设置HADOOP_CONF_DIR变量，值为Hadoop配置文件的路径；设置PYSPARK_PYTHON，值为anaconda安装目录下的bin/python。

4.设置Python解释器路径

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Browse for Python/pypy exe —— Interpreter Name输入Python3，Interpreter Executable输入anaconda安装目录下的bin/python3 —— OK —— 在列出的依赖中选择所有 —— OK即可。

5.设置anaconda中的链接库路径

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Libraries —— New Folder —— 路径：anaconda安装目录下的lib/python3.7/site-packages —— OK。如此即可使用anaconda中包含的所有Python模块。

6.设置Spark Python的链接库

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Libraries —— New Egg/Zip(s) —— 选择路径：spark家目录下的python/lib/中的pyspark.zip和py4j-*.zip两个zip包——OK。如此即可使用pyspark和spark-submit。

7.设置环境变量

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Environment —— new —— Name输入：SPARK_HOME，Value输入：${SPARK_HOME}，即之前配置字符串替代量。

同理，配置环境变量：HADOOP_CONF_DIR=${HADOOP_CONF_DIR}，PYSPARK_PYTHON={PYSPARK_PYTHON}。

8.新建PyDev项目

依次点击 File —— New —— Project… —— PyDev —— PyDev Project —— next —— Project Name：PythonSpark —— Project Type：Python —— Finish。一个工程就建好了。

下面是一个WordCount.py程序：

# -*- coding: UTF-8 -*-
from pyspark import SparkContext
from pyspark import SparkConf

def SetLogger( sc ):
    logger = sc._jvm.org.apache.log4j
    logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
    logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )
    logger.LogManager.getRootLogger().setLevel(logger.Level.ERROR)

def SetPath(sc):
    global Path
    if sc.master[0:5]=="local" :
        Path="file:/root/workspace/PythonProject/"
    else:
        Path="hdfs://master:9000/workspace/PythonProject/"
#如果要在cluster模式运行(hadoop yarn 或Spark Stand alone)，先把数据文件上传到HDFS目录

def CreateSparkContext():
    sparkConf = SparkConf()\
                .setAppName("WordCounts")                         \
                .set("spark.ui.showConsoleProgress", "false") 

    sc = SparkContext(conf = sparkConf)
    print("master="+sc.master)
    SetLogger(sc)
    SetPath(sc)
    return (sc)


if __name__ == "__main__":
    print("开始运行RunWordCount")
    sc=CreateSparkContext()

    print("开始读取文本文件...")
    textFile = sc.textFile(Path+"data/README.md")
    print("文本文件共"+str(textFile.count())+"行")

    countsRDD = textFile                                     \
                  .flatMap(lambda line: line.split(' ')) \
                  .map(lambda x: (x, 1))                    \
                  .reduceByKey(lambda x,y :x+y)

    print("文字统计共"+str(countsRDD.count())+"项数据")
    print("开始存储到文本文件...")
    try:
        countsRDD.saveAsTextFile(Path+ "data/output")
    except Exception as e:
        print("输出目录已经存在,请先删除原有目录")
    sc.stop()

9.通过外部工具运行spark-submit

依次点击：Run——External Tools——External Tools Configurations… ——Program —— 新建 —— Name：spark-submit ——Main ——Location：spark-submit的完整路径，Working Directory：{project_name}，Arguments：–driver-memory 1g –master local[4] {string_prompt}——run。即可以local模式提交Spark任务。其他模式类似。

10.查看结果

控制台：

开始运行RunWordCount
master=local[*]
开始读取文本文件…
文本文件共95行
文字统计共260项数据
开始存储到文本文件…

# ls data/output/
part-00000 part-00001 _SUCCESS

# head data/output/part-00000
(u'', 67)
(u'when', 1)
(u'R,', 1)
(u'including', 3)
(u'computation', 1)
(u'using:', 1)
(u'guidance', 2)
(u'Scala,', 1)
(u'environment', 1)
(u'only', 1)

# head data/output/part-00001
(u'help', 1)
(u'Hadoop', 3)
(u'high-level', 1)
(u'find', 1)
(u'web', 1)
(u'Shell', 2)
(u'how', 2)
(u'graph', 1)
(u'run:', 1)
(u'should', 2)