软件环境：
Ubuntu 14.04.1 LTS
Hadoop: 2.6.4
Scala: 2.11.8
Spark: 1.6.1
Jdk:1.8.0_73
写在前面
本例中的演示均为非 root 权限，所以有些命令行需要加 sudo，如果你是 root 身份运行，请忽略 sudo。下载安装的软件建议都放在 home 目录之上，比如~/workspace中，这样比较方便，以免权限问题带来不必要的麻烦。
环境准备
- 修改主机名
我们将搭建1个master，4个slave的集群方案。首先修改主机名vi /etc/hostname，在master上修改为master，其中一个slave上修改为slave1，其他同理。 - 配置hosts
在每台主机上修改host文件
vi /etc/hosts
10.108.122.98 master #为了能够实现远程登录，最好ip使用对应机器分配的静止ip地址
10.108.123.145 slave1
10.108.121.168 slave2
10.108.121.145 slave3
10.108.121.80 slave5
配置之后ping一下用户名看是否生效
ping slave1
ping slave2
ping slave3
ping slave5
SSH 免密码登录
安装Openssh server
sudo apt-get install openssh-server
在所有机器上都生成私钥和公钥
ssh-keygen -t rsa #一路回车
需要让机器间都能相互访问，就把每个机子上的id_rsa.pub发给master节点，传输公钥可以用scp来传输。
scp ~/.ssh/id_rsa.pub jlscs@master:~/.ssh/id_rsa.pub.slave1
在master上，将所有公钥加到用于认证的公钥文件authorized_keys中
cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys
将公钥文件authorized_keys分发给每台slave
scp ~/.ssh/authorized_keys jlscs@master:~/.ssh/
在每台机子上验证SSH无密码通信
ssh master
ssh slave1
ssh slave2
ssh slave3
ssh slave5
ssh密码登陆后，但是还是密码失败，提示“Agent admitted failure to sign using the key”
遇到的问题：生成后还是需要输入密码。
解决方法：用ssh-add命令将id_rsa加进来
ssh-add ~/.ssh/id_rsa
安装 Java
从官网下载最新版 Java 就可以，Spark官方说明 Java 只要是6以上的版本都可以，我下的是 jdk-8u73-linux-x64.tar.gz
在~/workspace目录下直接解压
tar -zxvf jdk-8u73-linux-x64.tar.gz
修改环境变量sudo vi /etc/profile，添加下列内容，注意将home路径替换成你的：
export WORK_SPACE=/home/spark/workspace/
export JAVA_HOME=$WORK_SPACE/jdk1.8.0_73
export JRE_HOME=/home/spark/work/jdk1.8.0_73/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
然后使环境变量生效，并验证 Java 是否安装成功
$ source /etc/profile #生效环境变量
$ java -version #如果打印出如下版本信息，则说明安装成功
java version "1.8.0_73"
Java(TM) SE Runtime Environment (build 1.8.0_73-b12)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
安装 Scala
在~/workspace中解压
tar -zxvf scala-2.11.8.tgz
再次修改环境变量sudo vi /etc/profile，添加以下内容：
export SCALA_HOME=$WORK_SPACE/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
同样的方法使环境变量生效，并验证 scala 是否安装成功
$ source /etc/profile #生效环境变量
$ scala -version #如果打印出如下版本信息，则说明安装成功
Scala code runner version 2.11.8 -- Copyright 2002-2013, LAMP/EPFL
安装配置 Hadoop YARN
下载解压
从官网下载 hadoop2.6.4 版本
同样我们在~/workspace中解压
tar -zxvf hadoop-2.6.4.tar.gz
配置 Hadoop
cd ~/workspace/hadoop-2.6.4/etc/hadoop进入hadoop配置目录，需要配置有以下7个文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml
1. 在hadoop-env.sh中配置JAVA_HOME
# The java implementation to use.
export JAVA_HOME=/home/jlscs/workspace/jdk1.8.0_73
2. 在yarn-env.sh中配置JAVA_HOME
# some Java parameters
export JAVA_HOME=/home/jlscs/workspace/jdk1.8.0_73
3. 在slaves中配置slave节点的ip或者host，
slave1
Slave2
Slave3
4. 修改core-site.xml
fs.defaultFS
hdfs://master:9000/
hadoop.tmp.dir
file:/home/jlscs/workspace/hadoop-2.6.4/tmp
5. 修改hdfs-site.xml
dfs.namenode.secondary.http-address
master:9001
dfs.namenode.name.dir
file:/home/jlscs/workspace/hadoop-2.6.0/dfs/name
dfs.datanode.data.dir
file:/home/jlscs/workspace/hadoop-2.6.0/dfs/data
dfs.replication
3
6. 修改mapred-site.xml
mapreduce.framework.name
yarn
7. 修改yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8035
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
将配置好的hadoop-2.6.4文件夹分发给所有slaves吧
scp -r ~/workspace/hadoop-2.6.4 spark@slave1:~/workspace/
启动 Hadoop
在 master 上执行以下操作，就可以启动 hadoop 了。
cd ~/workspace/hadoop-2.6.4 #进入hadoop目录
bin/hadoop namenode -format #格式化namenode
sbin/start-dfs.sh #启动dfs
sbin/start-yarn.sh #启动yarn
验证 Hadoop 是否安装成功
可以通过jps命令查看各个节点启动的进程是否正常。在 master 上应该有以下几个进程：
$ jps #run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps
在每个slave上应该有以下几个进程：
$ jps #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode
或者在浏览器中输入http://master:8088，应该有 hadoop 的管理界面出来了，并能看到 slave1 和 slave2 和 slave3 等节点。
Spark安装
下载解压
在~/workspace目录下解压
tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
mv spark-1.6.1-bin-hadoop2.6 spark1.6.1 #原来的文件名太长了，修改下
配置 Spark
cd ~/workspace/spark1.6.1/conf #进入spark配置目录
cp spark-env.sh.template spark-env.sh #从配置模板复制
vi spark-env.sh #添加配置内容
在spark-env.sh末尾添加以下内容（这是我的配置，你可以自行修改）：
export SCALA_HOME=/home/jlscs/workspace/scala-2.11.8
export JAVA_HOME=/home/jlscs/workspace/jdk1.8.0_73
export HADOOP_HOME=/home/jlscs/workspace/hadoop-2.6.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/home/jlscs/workspace/spark1.6.1
SPARK_DRIVER_MEMORY=1G
注：在设置Worker进程的CPU个数和内存大小，要注意机器的实际硬件条件，如果配置的超过当前Worker节点的硬件条件，Worker进程会启动失败。
vi slaves在slaves文件下填上slave主机名：
slave1
slave2
slave3
slave5
将配置好的spark1.6.1文件夹分发给所有slaves吧
scp -r ~/workspace/spark-1.6.1 spark@slave1:~/workspace/
启动Spark
sbin/start-all.sh
验证 Spark 是否安装成功
用jps检查，在 master 上应该有以下几个进程：
$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager
在 slave 上应该有以下几个进程：
$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager
运行示例
本地模式两线程运行
./bin/run-example SparkPi 10 --master local[2]
Spark Standalone 集群模式运行
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master spark://master:8080
lib/spark-1.6.1-hadoop2.6.4.jar
100
Spark on YARN 集群上 yarn-cluster 模式运行
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn-cluster \ # can also be yarn-client
lib/spark-examples*.jar
10
