Centos7下的Hadoop伪分布式安装搭建

Hadoop生态圈是大数据行业内比较常用的离线数据处理技术，而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试，集群模式才是生产环境上配置的。那么、今天就说一下Hadoop的伪分布式安装搭建。

1、环境准备：

1. 虚拟机系统:Centos-7
2. JDK:JDK1.8.0_171。
3. 关闭防火墙、配置好机器静态IP。

2、下载：

http://hadoop.apache.org/官网进行下载安装包、自行选择版本下载。但是、大家最好还是下载跟我同一个版本的安装包，这样配置的时候才不会出很多问题。因为不同版本的安装包，Apache可能会修改了某些参数，导致就算你的配置跟我的配置一样，但是还是不能启用。话不多说，这里我选择了hadoop-2.7.1版本下载。

3、安装配置:

1. 配置主机名:执行以下命令进行打开虚拟机主机名配置文件，进行相应的修改。将文件中原有的主机名删除，添加你自己的主机名。保存并退出。随后重启虚拟机。

   vi /etc/hostname

   

2. 配置hosts文件:执行以下命令进行打开hosts配置文件，进行修改。在文件最后增加机器的IP地址和刚才配好的主机名。保存并退出。

   vi /etc/hosts

   

3. 生成SSH密钥:执行以下命令，然后一直回车。来生成SSH密钥。生成的密钥文件会存放在/root/.ssh/目录下。前提是你用的root帐号登录并且生成的ssh密钥。

   ssh-keygen

   

4. 配置机器免密登录:执行以下命令、将刚才生成好的SSH密钥发送指定的机器上，来实现机器免密登录。

   ssh-copy-id root@CSDN01

   

5. 上传和解压下载好的Hadoop安装包:使用ftp工具将Hadoop安装包上传到/usr/local/目录下、然后使用以下命令解压安装包。

   tar -zxvf hadoop-2.7.1_64bit.tar.gz

   

6. 配置hadoop-env.sh文件:这个文件里写的是hadoop的环境变量，主要修改hadoop的JAVA_HOME和HADOOP_CONF_DIR 路径。使用以下命令打开文件进行修改。修改完成后保存退出。

   cd hadoop-2.7.1/etc/hadoop/
   vi hadoop-env.sh

   

7. 修改core-site.xml文件:使用vi core-site.xml打开文件，增加以下配置参数。

    
        
        
           fs.defaultFS 
           hdfs://CSDN01:9000 
        
        
        
           hadoop.tmp.dir 
           /usr/local/hadoop-2.7.1/tmp 
        
     

   

8. 修改hdfs-site.xml:使用vi hdfs-site.xml打开文件，增加以下配置参数。

    
        
        
        
           dfs.replication 
           1 
          
        
        
           dfs.permissions 
           false 
          
   

   

9. 修改 mapred-site.xml:这个文件初始时是没有的，有的是模板文件，mapred-site.xml.template 
   所以需要拷贝一份，并重命名为 mapred-site.xml 。执行以下命令进行复制。

   cp mapred-site.xml.template mapred-site.xml

                                                               复制完成后、使用vi mapred-site.xml打开文件，增加以下配置参数。

    
        
        
           mapreduce.framework.name 
           yarn 
        
   

   

10. 修改 yarn-site.xml:使用vi yarn-site.xml打开文件，增加以下配置参数。

     
         
         
         
            yarn.resourcemanager.hostname 
            CSDN01 
         
         
         
            yarn.nodemanager.aux-services 
            mapreduce_shuffle 
         
       

    

11. 配置 slaves 文件:使用vi slaves打开文件，增加以下配置参数。

    CSDN01

    

12. 配置Hadoop的环境变量:使用vi /etc/profile打开文件，增加以下配置参数。保存退出后，使用source /etc/profile命令来使配置立即生效。

    #配置hadoop的环境变量
    export HADOOP_HOME=/usr/local/hadoop-2.7.1
    export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

    

13. 格式化namenode:使用以下命令进行格式化hadoop的namenode。出现successfully代表成功。

    hadoop namenode -format

    

14. 启动hadoop:使用start-all.sh命令启动hadoop。启动完成后，通过jps命令查看进程节点。如果出现以下六个说明成功启动。

15. 通过浏览器查看和管理hadoop: http://ip:50070来进行查看hadoop。

到此、Centos7下的Hadoop伪分布式安装搭建就成功完成了。