spark-2.4.2搭建(配合hadoop2.7及以上环境)

1、spark官网下载spark,可以可以在win系统中下载后上传至linux,也可以linux中直接下载:         wget http://mirror.bit.edu.cn/apache/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

2、下载后解压至自己要安装的位置:tar -zxvf spark-2.4.2-bin-hadoop2.7.tgz,重命名为spark,

3、配置spark:

     (1)、将conf下的 slaves.template复制为slaves,进入slaves,将localhost删除,新增子节点主机名,我的子节点为node-2、node-3。

     (2)、将conf下的spark-env.sh.template复制为spark-env.sh,进入spark-env.sh,新增:

                  SPARK_MASTER_HOST=node-1
                  SPARK_MASTER_PORT=7077

4、将整个spark文件拷贝到另外两台子节点机器上:

         scp -r spark root@node-2:/usr/centos/

         scp -r spark root@node-3:/usr/centos/

5、主节点启动spark:./start-all.sh,查看启动是否成功:浏览器中输入:http://node-1:8080/

spark-2.4.2搭建(配合hadoop2.7及以上环境)_第1张图片

 6、如果启动时报:

    node-2: failed to launch: nice -n 0 /usr/centos/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081       spark://node-1:7077
   node-2:   JAVA_HOME is not set
   node-2: full log in /usr/centos/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-node-2.out
   node-3: failed to launch: nice -n 0 /usr/centos/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081         spark://node-1:7077
   node-3:   JAVA_HOME is not set

  则需要在node-2、node-3上的/root/.bashrc文件中配置export JAVA_HOME=/usr/centos/jdk1.8.0_201,然后再./stop-all.sh,再重启:./start-all.sh。

7、配置Job History Server

   (1)、进入spark的config文件夹,将 spark-defaults.conf.template复制为 spark-defaults.conf,修改 spark-defaults.conf文件,开启log,将下面三个被注释的:

#spark.master                     spark://master:7077
#spark.eventLog.enabled           true
#spark.eventLog.dir               hdfs://namenode:8021/directory

改为:

spark.master                     spark://node-1:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://node-1:9000/directory

(2)、修改spark-env.sh,添加如下配置:

            export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://node-1:8021/directory"

(3)、将spark-defaults.conf、spark-env.sh复制到另外两台从节点上:

        scp spark-defaults.conf node-2:/usr/centos/spark/conf/

        scp  spark-env.sh node-2:/usr/centos/spark/conf/

       scp spark-defaults.conf node-3:/usr/centos/spark/conf/

       scp  spark-env.sh node-3:/usr/centos/spark/conf/

   (4)、启动历史日志:./start-history-server.sh。

   (5)、浏览器查看历史日志:http://node-1:4000/。

8、计算spark中求pi案例:

     bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node-1:7077 /usr/centos/spark/examples/jars/spark-examples_2.12-2.4.2.jar 100

 

 

 

你可能感兴趣的:(Hadoop)