spark-submit

学会将程序提交到集群上执行。

相关知识

为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

spark-submit参数

参 数	介 绍
--master	提交到哪里执行，如 standalone，local，yarn，mesos等
--name	应用程序的名称
--class	应用程序的主类
--deploy-mode	Driver 程序运行的地方，client 或者 cluster，默认是client
--driver-memory	Driver内存，默认 1G
--executor-memory	每个executor的内存，默认是1G

使用格式：

1. ./bin/spark-submit
2. --class
3. --master
4. --deploy-mode
5. --conf
6. ... # other options
7. application-jar

计算圆周率

1. cd /opt/spark/dist/bin
2. ./spark-submit
3. --master local
4. --class org.apache.spark.examples.SparkPi
5. /opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar

./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar
 

cp -r  Spark/SparkRDD/target/project.jar /root

cd /opt/spark/dist/bin

#********** Begin **********#



./spark-submit --class Student /root/project.jar



#********** End **********#