Spark整合到yarn上步骤

前言：hadoop集群上安装好spark软件后，可以和yarn整合，具体步骤如下。

1. 设置 HADOOP_CONF_DIR

export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.6/etc/hadoop/

2. 将hadoop下/etc/hadooop目录下core-site.xml hdfs-site.xml yarn-site.xml复制到spark下/conf目录下
3. 修改spark下/conf目录下slaves、hive-site.xml、spark-env.sh和spark-defaults.conf(主要是和其他记得点做到同步)
4. 启动Spark-Shell

spark-shell \
--master yarn \
--deploy-mode client \
--executor-memory 512m \
--total-executor-cores 1

以上，即可。