spark-submit 与 spark-shell 介绍

一、spark-submit 介绍

1、spark-submit 介绍
程序一旦打包好，就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖，支持不同类型的集群管理器和发布模式。

2、运行方式

./bin/spark-submit \
  --class -class>
  --master -url> \
  --deploy-mode -mode> \
  --conf = \
  ... # other options
  -jar> \
  [application-arguments]

参数解析：
-- class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)

-- master: 集群的 master URL (如 spark://23.195.26.187:7077)

-- deploy-mode: 是否发布你的驱动到 worker节点(cluster) 或者作为一个本地客户端 (client)

-- conf: 任意的 Spark 配置属性， 格式key=value。如果值包含空格，可以加引号“key=value”，缺省的 Spark 配置。

application-jar: 打包好的应用 jar，包含依赖。 这个 URL 在集群中全局可见。 比如 hdfs:// 共享存储系统，如果是 file:// path，那么所有的节点的path都包含同样的jar。

application-arguments: 传给 main() 方法的参数。

Master URL 可以是以下格式：

3、执行一个 spark 程序

/opt/module/spark