Hadoop2.0伪分布式平台环境搭建

一、搭建环境的前提条件

  环境:ubuntu-16.04

     hadoop-2.6.0

       jdk1.8.0_161。这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可。

  因为这里是配置Hadoop的教程,配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(因为教程有点长,可能有些地方有些错误,欢迎留言评论,我会在第一时间修改的)。

二、搭建的详细步骤

 1.配置免密码登陆ssh

   先判断是否安装ssh,输入命令:ssh localhost,若提示输入密码,即已经安装。如果没有安装,输入命令:sudo apt-get install openssh-server 安装

   修改ssh配置文件:
   输入命令:vim /etc/ssh/ssh_config 将其中的 Port 22 字段和 PermitLocalCommand no 字段前面的 '#’删除,并且,将 PermitLocalCommand 后面的 no 改为 yes

Hadoop2.0伪分布式平台环境搭建_第1张图片

   修改过后截图:

Hadoop2.0伪分布式平台环境搭建_第2张图片

   查看在根目录下是否存在.ssh文件夹:
   输入命令:cd
        ls -a

   若没有则在根目录下创建.ssh文件夹,输入命令:mkdir .ssh
   产生密钥,输入命令:cd /root/.ssh
             ssh-keygen -t rsa

Hadoop2.0伪分布式平台环境搭建_第3张图片

  

   将生成的公钥追加到授权的key中去
   输入命令:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
   验证安装是否成功,输入命令:ssh –version
                 ssh localhost 提示不需要输入密码则安装成功。

Hadoop2.0伪分布式平台环境搭建_第4张图片

 2. 配置Hadoop

    将下载好的Hadoop压缩包文件拖进Linux下,为了后续的学习的过程,最好单独创建一个文件夹存放这些文件。我这里使用命令:mkdir /home/xiaow/hadoop2.0创建了一个名为hadoop2.0的文件夹,再将hadoop2.6.0压缩包拖进里面并解压。

Hadoop2.0伪分布式平台环境搭建_第5张图片

   配置环境变量,输入命令:cd /etc
               vim profile

   在末尾追加:export HADOOP_HOME=/home/xiaow/hadoop2.0/hadoop-2.6.0

         export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

   注意:这里的路径为自己解压后的路径,每个人的路径不相同。

Hadoop2.0伪分布式平台环境搭建_第6张图片

   配置完环境变量后,需要系统配置一下环境变量,以便生效。
   输入命令:source /etc/profile

 

 3. 修改Hadoop配置文件

    需要修改的 hadoop 的配置文件有 5 个,即 core-site.xml、hdfs-site.xml、yarn-site.xml、 slaves、hadoop-env.sh 五个文件。这5个文件的位置为:

Hadoop2.0伪分布式平台环境搭建_第7张图片

    

Hadoop2.0伪分布式平台环境搭建_第8张图片

    

Hadoop2.0伪分布式平台环境搭建_第9张图片

  (1).  配置core-site.xml文件

  
      hadoop.tmp.dir  
      /home/tmp  设置临时文件夹,只要在 home 下即可  
  
      fs.defaultFS  
      hdfs: //localhost:9000  也可以改为本机 IP 地址 

Hadoop2.0伪分布式平台环境搭建_第10张图片

  (2). 配置hdfs-site.xml文件

  
      dfs.replication  
      1   备份数目,单节点上是 1,多节点一般为 3 
 
  
      dfs.namenode.name.dir  
      /home/xiaow/hadoop/dfs/name NameNode 所在路径 
 
  
      dfs.datanode.data.dir  
      /home/xiaow/hadoop/dfs/data dataNode 所在路径 
 
  
      dfs.permissions  
       false     HDFS 的权限,默认就行 

Hadoop2.0伪分布式平台环境搭建_第11张图片

  (3). 配置yarn-site.xml文件

    mapreduce.framework.name  
    yarn 
 
  
    yarn.nodemanager.aux-services              
    mapreduce_shuffle 
 

  

Hadoop2.0伪分布式平台环境搭建_第12张图片

   (4). 配置slaves文件

    默认就好,不用修改

Hadoop2.0伪分布式平台环境搭建_第13张图片

  (5). 配置hadoop-env.sh

    

Hadoop2.0伪分布式平台环境搭建_第14张图片

    将里面的 JAVA_HOME=${JAVA_HOME}修改为自己安装的jdk地址

    

Hadoop2.0伪分布式平台环境搭建_第15张图片

    至此hadoop配置文件的修改,已经全部完成。

三、启动Hadoop

  输入命令:

cd /home/xiaow/hadoop2.0/hadoop-2.6.0  
bin/hadoop namenode –format
sbin/start-all.sh
jps

  

Hadoop2.0伪分布式平台环境搭建_第16张图片

  

Hadoop2.0伪分布式平台环境搭建_第17张图片

  

Hadoop2.0伪分布式平台环境搭建_第18张图片

  出现如下图所示6个Java进程,则Hadoop伪分布式成功搭建。

  

Hadoop2.0伪分布式平台环境搭建_第19张图片

四、补充说明

 1、如果出现下面这种情况

Hadoop2.0伪分布式平台环境搭建_第20张图片

 

    输入命令:source /etc/profile 即可解决

 2、出现进程不够的情况(一般是少一个datanode进程)

    应先输入 sbin/stop-all.sh 停止 hadoop所有进程

   解决办法可能有以下两种:

      1. 再仔细检查刚才配置文件是否出现错误。一般自己检查不出错误,可叫同学帮忙检查一下,必须仔细比对。 再依次使用这三个命令启动Hadoop:

        

Hadoop2.0伪分布式平台环境搭建_第21张图片

      2.可能是临时文件夹没删掉。

          

Hadoop2.0伪分布式平台环境搭建_第22张图片

          

Hadoop2.0伪分布式平台环境搭建_第23张图片

  

       找到上图箭头所指示的文件夹并删掉,在重新启动hadoop,如此问题解决。

你可能感兴趣的:(【1】Hadoop,分布式,linux,ssh,hadoop)