spark-2.2.0集群的安装

spark集群的安装配置

简介

Apache Spark™是用于大规模数据处理的快速和通用引擎。

特点：

• Speed: 在内存中运行程序的速度比Hadoop MapReduce快100倍，或者在磁盘上快10倍。Apache Spark拥有先进的DAG执行引擎，支持非循环数据流和内存计算。
• Ease of Use: 用Java，Scala，Python，R快速编写应用程序。Spark提供超过80个高级操作，可以轻松构建并行应用程序。 你可以从Scala，Python和R shell交互使用它。
• Generality: 结合SQL，streaming和复杂的分析。Spark提供了一堆库，包括SQL和DataFrame，用于机器学习的MLlib，GraphX和Spark Streaming。 您可以在同一个应用程序中无缝地组合这些库。
• Runs Everywhere: Spark运行在Hadoop，Mesos，独立模式或云中。 它可以访问各种数据源，包括HDFS，Cassandra，HBase和S3。您可以使用独立群集模式，在EC2上，在Hadoop YARN上或在Apache Mesos上运行Spark。 访问HDFS，Cassandra，HBase，Hive，Tachyon和任何Hadoop数据源中的数据。

1. scala安装

cd /opt
wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz
tar -zxvf scala-2.12.4.tgz
之后就添加环境变量
vim /etc/profile
添加下面内容：
#scala
export SCALA_HOME=/opt/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
保存退出后，使文件立即生效，执行如下命令：
source /etc/profile
最后使用命令scala -version可以查看scala版本信息，说明成功了。

2. spark安装配置

cd /opt
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
cd spark-2.2.0-bin-hadoop2.7
进入配置目录
cd conf
现在需要复制两个文件，并更改名字。
cp slaves.template slaves
cp spark-env.sh.template spark-env.sh
接下来编辑两个文件
vim slaves
在文件最后添加所有从服务器的主机名，例如如下：
spark.datanode1
spark.datanode2
保存退出
vim spark-env.sh
在文件后面添加一下内容，例如：
export JAVA_HOME=/opt/jdk1.8.0_144 #jdk路径
export SCALA_HOME=/opt/scala-2.12.4 #scala路径
export HADOOP_HOME=/opt/hadoop-2.7.4 #hadoop路径
export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop #hadoop配置路径
export SPARK_MASTER_HOST=spark.namenode #master的主机名
export SPARK_WORKER_MEMORY=1g #每个worker节点能够最大分配给exectors的内存大小
export SPARK_WORKER_CORES=2 #每个worker节点所占有的CPU核数目
export SPARK_WORKER_INSTANCES=1 #每台机器上开启的worker节点的数目
export SPARK_HOME=/opt/spark-2.2.0-bin-hadoop2.7 #spark的路径
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.4/bin/hadoop classpath)
保存退出
配置已经全部完成
最后需要把spark-2.2.0-bin-hadoop2.7文件夹分发到集群中，使用远程复制的命令scp即可，例如：
scp -r spark-2.2.0-bin-hadoop2.7 [email protected]:/opt

启动

启动spark之前需要先启动hdfs,启动后，用下面命令启动spark：
cd spark-2.2.0-bin-hadoop2.7
./sbin/start-all.sh
启动成功之后，用jps命令可以在master上看到Master进程和对应的pid，在slaves服务器上可以看到Worker进程。

Web-UI

在浏览器网址栏中输入下面网址,可以看到相应的信息：
http://10.24.106.82:8080

例子

执行如下命令，用于计算pi的数值。
cd spark-2.2.0-bin-hadoop2.7
./bin/run-example SparkPi
在输出信息中可以找到pi的数值。