spark提交任务到集群

参考：http://spark.apache.org/docs/latest/submitting-applications.html

1、client运行。（jar包在本地。记录不会保存到master）

spark-submit --class com.xx.ErrorCount --master spark://192.168.1.21:7077 --executor-memory 20G --total-executor-cores 100 /user/local/spark-1.0.jar 1000

2、cluster运行(端口为REST端口，默认6066。会启动一个worker，该worker下面需有/user/local/spark-1.0.jar， 记录会保存到master管理页上)

spark-submit --class com.xx.ErrorCount --master spark://192.168.1.21:6066 --deploy-mode cluster /user/local/spark-1.0.jar