Spark配置—Yarn模式
Step 1：
可以尝试先搭建HA模式，然后Yarn模式只是在这个基础上做了一些修改而已
http://blog.csdn.net/ymf827311945/article/details/73822832
Step 2：
在node11节点上执行命令:
vi ~/.bash_profile
source ~/.bash_profile添加如下属性：
export HADOOP_INSTALL=/opt/apps/hadoop/hadoop-2.6.0
Step 3：
在node11节点上执行命令
vi /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh添加如下属性：
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export YARN_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export SPARK_HOME=/opt/apps/spark/spark-1.6.0-bin-hadoop2.6
export SPARK_JAR=/opt/apps/spark/spark-1.6.0-bin-hadoop2.6/lib/spark-assembly-1.6.0-hadoop2.6.0.jar
export PATH=$SPARK_HOME/bin:$PATH
Step 4：
在node11节点上执行命令，进行文件的分发
scp -r /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh node12:/opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/
scp -r /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh node13:/opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/
Step 5：
在node12节点上执行命令，修改文件：
vi /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh将下面的属性注释：
#export SPARK_MASTER_IP=node11
Step 6：
分别在三个节点执行命令，启动zookeeper
zkServer.sh start
zkServer.sh status
Step 7：
在node11节点上执行命令， 启动HDFS和Yarn
start-all.sh
在node12节点上单独启动Resourcemanager
yarn-daemon.sh start resourcemanager
Step 8：
打开浏览器，输入URL进行查看——HDFS
192.168.80.11:50070
192.168.80.12:50070
打开浏览器，输入URL进行查看——Yarn
192.168.80.11:8088
192.168.80.12:8088
Step 9：
在node11节点上执行命令——启动Spark
cd /opt/apps/spark/spark-1.6.0-bin-hadoop2.6
./sbin/start-all.sh
在node12节点执行命令——启动master
cd /opt/apps/spark/spark-1.6.0-bin-hadoop2.6
./sbin/start-master.sh
Step 10：
打开浏览器，输入URL进行查看
http://192.168.80.11:8080/
http://192.168.80.12:8080/
Step 11：
Yarn集群Client模式
cd /opt/apps/spark/spark-1.6.0-bin-hadoop2.6
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 1G --num-executors 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
Step 12：
打开浏览器，输入URL进行查看
http://192.168.80.11:8088/cluster/apps/RUNNING
Step 13：
查看结果：
Step 14：
Yarn集群Cluster模式
在node11节点执行命令：
cd /opt/apps/spark/spark-1.6.0-bin-hadoop2.6
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
Step 15：
打开浏览器，输入URL进行查看
http://192.168.80.11:8088/cluster/apps/RUNNING
在运行一段时间后， 点击FINISHED—–找到自己刚才运行的Application，然后点击如下图中的History
然后点击如下图中的logs
然后点击如下图中的stdout : Total file length is 24 bytes.
最后就可以看到运行的结果
