Spark系列(三)Spark-yarn集群安装及执行

前言

前面提到过,Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos,在这里,mark下Yarn集群的安装部署及执行。

Yarn集群的部署不依赖Standalone集群,不需要启动Spark,但需要安装Hadoop和Spark,本Yarn集群是在前面的Spark镜像基础上构建的,详细安装如下:

一、Yarn集群安装

1、修改Hadoop配置下的yarn-site.xml:

<property>
        <name>yarn.resourcemanager.hostnamename>
        <value>hadoop0value>
property>
<property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
property>

<property>
        <name>yarn.nodemanager.pmem-check-enabledname>
        <value>falsevalue>
property>

<property>
        <name>yarn.nodemanager.vmem-check-enabledname>
        <value>falsevalue>
property>

2、修改Spark-env.sh 添加:

让Spark能够发现Hadoop配置文件

HADOOP_CONF_DIR=/opt/module/hadoop/etc/hadoop
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

二、Yarn集群执行

2.1、先启动Hadoop集群(无需启动其它的)
2.2、执行如下命令

[root@hadoop0 /]# /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
/opt/module/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.1.jar \

具体参考前面的Spark系列(二),特别说明下,这里指明集群master提交为Yarn,部署模式为Client,Yarn集群提交时有两种模式Client模式和Cluster模式,这两种模式的具体区别可以看后面的Spark集群模式详解。

你可能感兴趣的:(Spark)