大数据学习笔记（五）-spark demo 运行【原创】

阅读更多

spark 有四种运行模式：
1）local模式(单机模式）
2）standalone模式（伪分布模式）
3）yarn-client模式（driver运行在客户端，可通过4040端口查看客户端运行状态,client全程参与调度）
4）yarn-cluster模式（driver运行在服务端，需通过yarn-cluster的8088端口查看,client在提交完job之后就可以关闭了）

切换到SPARK_HOME目录

cd /usr/local/spark-2.1.0-bin-hadoop2.7

1. local模式
  

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.0.jar

  

2. standalone模式
  

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master.hadoop.zjportdns.gov.cn:7077 examples/jars/spark-examples_2.11-2.1.0.jar

3. yarn-client模式
3.4两种需要启动hadoop, 并设置环境变量。

echo -e "export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.3/etc/hadoop" >> /etc/profile
source /etc/profile

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/jars/spark-examples_2.11-2.1.0.jar

访问：http://master.hadoop.zjportdns.gov.cn:4040/jobs

4. yarn-cluster模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.1.0.jar

访问：http://master.hadoop.zjportdns.gov.cn:8088/cluster

• 
• 大小: 27.7 KB

• 
• 大小: 40.8 KB

• 查看图片附件