Spark项目之环境搭建(单机)一 hadoop 2.8.5安装

 

我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7

第一步上传所需的包:我把所有的包都放在了home下面,如下:

先安装jdk 和mysql :

    jdk安装:https://blog.csdn.net/lx1309244704/article/details/79765517

mysql安装:https://blog.csdn.net/lx1309244704/article/details/79786463

然后修改IP映射

vi /etc/hosts

 Spark项目之环境搭建(单机)一 hadoop 2.8.5安装_第1张图片

我这里的hadoop版本为2.8.5,我们可以找到官方给我提供的搭建文档,因为官方没有2.8.5版本的文档,那就找2.8.X的版本的文档即可。

地址:http://hadoop.apache.org/docs/r2.8.4/

首先搭建hadoop环境:

Spark项目之环境搭建(单机)一 hadoop 2.8.5安装_第2张图片

Spark项目之环境搭建(单机)一 hadoop 2.8.5安装_第3张图片

按照上面的配置,如下 我将解压的hadoop

tar -zxf hadoop-2.8.5.tar.gz

重新命名为hadoop

mv hadoop-2.8.5 hadoop

 配置环境变量

vi /etc/profile
#hadoop
export HADOOP_HOME=/home/hadoop/
export PATH=${HADOOP_HOME}/bin:$PATH

然后保存,执行一下命令,是配置生效

source /etc/profile

进入你安装的hadoop 下的 etc/hadoop/目录下

cd /home/hadoop/etc/hadoop/

core-site.xml的配置


    
        fs.defaultFS
        hdfs://hadoop:9000
    
    
        hadoop.tmp.dir
        file:/home/hadoop/tmp
    

 hdfs-site.xml的配置


    
        dfs.namenode.secondary.http-address
        hadoop:50090
    
    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/home/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/home/hadoop/tmp/dfs/data
    

yarn的配置


    
        yarn.resourcemanager.hostname
        hadoop
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

然后初始化

hadoop namenode -format

 Spark项目之环境搭建(单机)一 hadoop 2.8.5安装_第4张图片

然后就可以验证hadoop是否安装成功:进入你安装的hadoop目录下的sbin目录:/home/hadoop/sbin

cd /home/hadoop/sbin/

然后启动start-all.sh

./start-all.sh

如下:Spark项目之环境搭建(单机)一 hadoop 2.8.5安装_第5张图片

 然后查询是否启动成功:

jps

  Spark项目之环境搭建(单机)一 hadoop 2.8.5安装_第6张图片

停止命令:

./stop-all.sh

项目地址:https://github.com/LX1309244704/sparkDemo

你可能感兴趣的:(spark)