Hadoop-Hbase环境搭建（上）

说明：本教程先详细说明hadoop与hbase的伪分布式搭建步骤、在此基础上再说明分布式的搭建过程。

一、使用环境

      作者是在Ubuntu16.06LTS系统完成的搭建。本教程也适用于Ubuntu14.04

      作者用的是hadoop2.7.2版本（稳定版本）

二、准备工作

      1、若在安装Ubuntu的时候没有创建“hadoop”用户，则先创建hadoop用户

     

     这样就创建了hadoop用户，并使用/bin/bash作为shell

    2、为hadoop用户设置密码

   

    3、为hadoop用户增加管理员权限

    

    最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

三、安装SSH、配置SSH无密码登录

    1、Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

   

    2、登录本机

   

   这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

   

   

    此后就可以无密码登陆了。

  

   四、安装Java环境

    1、安装JDK

     

     2、配置JAVA——HOME环境变量

   

    该命令会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了。

    在bashrc文件配置环境变量

   

  

   使该环境变量生效

   

    检验设置是否正确

   

    若设置正确，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样。

   五、安装hadoop-2.7.2

    1、下载地址：点击打开链接

     2、将 hadoop 安装至 /usr/local/ 中：

        解压到/usr/local

   


  


  


   hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

  

六、hadoop伪分布式配置

    Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为   NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml

   

修改内容：

   

同样的方式修改hdfs-site.xml：

   

    配置完成后，执行 NameNode 的格式化:

   

    成功的话，会看到 "successfully formatted" 和 "Exitting with status 0" 的提示，若为     "Exitting with status 1" 则是出错 。

   

    开启 NameNode 和 DataNode 守护进程：

   

    通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程:

   

    成功启动后，可以访问 Web 界面 点击打开链接 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

   

   

   

       至此，伪分布式搭建完成。