HaDoop2.6下安装并配置Spark1.6.3

Spark是Hadoop MapReduce的通用并行框架，不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法；

1.下载安装Scala

1.1 到Scala官网下载想要的版本：

1.2 下载后上传到安装目录下
使用：tar -zxvf scala-2.12.0.tgz
解压后的文件为：scala-2.12.0

1.3 添加环境变量
vi /etc/profile
export SCALA_HOME=/opt/scala-2.12.0
export PATH=... :$SCALA_HOME/bin:$PATH

1.4 验证

2.下载安装Spark

2.1 到官网下载对应hadoop的版本，hadoop2.7及更新的版本对应spark2.0,hadoop2.7以下对应1.X.X   

2.2 下载后上传到安装目录
使用：`tar -zxvf spark-1.6.3-bin-hadoop2.6.tgz`
解压后的文件为：`spark-1.6.3-bin-hadoop2.6`

2.3 配置spark-env.sh
进入到conf目录下：`cd /opt/spark-1.6.3-bin-hadoop2.6/conf`
复制spark-env.sh文件：`cp spark-env.sh.template spark-env.sh`
修改文件中的内容：`vi spark-env.sh`
在最后添加以下内容：

export JAVA_HOME=/opt/jdk1.8.0_91
export HADOOP_HOME=/opt/hadoop-2.6.0
export SPARK_HOME=/opt/spark-1.6.3-bin-hadoop2.6
export SCALA_HOME=/opt/scala-2.12.0
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop
SPARK_LOCAL_IP=本机ip或主机名
SPARK_MASTER_IP=本机ip或主机名
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_WEBUI_PORT=7070
SPARK_LOCAL_DIRS=$SPARK_HOME/local_dirs
SPARK_WORKER_DIR=$SPARK_HOME/worker_dirs
SPARK_LOG_DIR=$SPARK_HOME/log_dirs
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=512M
export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=604800"
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://crxy118:9000/historyserverforspark"

2.4 配置slaves
复制slaves文件：`cp slaves.template slaves`
修改slaves文件：`vi slaves`
将localhost更改为其他的主机名

2.5 配置spark-defaults.conf
复制spark-defaults.conf文件：`cp spark-defaults.conf.template spark-defaults.conf`
修改spark-defaults.conf：`vi spark-defaults.conf`
在后面添加：

spark.eventLog.enabled true
spark.eventLog.compress true
spark.eventLog.dir hdfs://主机名:9000/historyserverforspark
spark.broadcast.blockSize 8m
spark.executor.cores 1
spark.executor.memory 512m
spark.executor.heartbeatInterval 20s
spark.files.fetchTimeout 120s
spark.task.maxFailures 6
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.kryoserializer.buffer.max 256m
spark.akka.frameSize 128
spark.default.parallelism 20
spark.network.timeout 300s
spark.speculation true

3.开启进程
进入到spark安装目录下
开启Master和Worker进程，使用命令：sbin/start-all.sh
开启HistoryServer进程，使用命令：sbin/start-history-server.sh
使用jps查看进程，会发现多出：Master、Worker、HistoryServer进程

4. Web界面查看

使用浏览器查看：主机名：8080

使用浏览器查看：主机名：7070

使用浏览器查看：主机名：18080