Ubuntu 14.04下 Hadoop3.0-alpha 的安装

• 前提准备

  • 安装JDK 和 JRE

    • jdk 安装

      • 网上下载jdk1.7+包
      • 放入/usr/java/jdk1.8.0目录下

      • 在~/.bashrc 文件下添加如下语句

        export JAVA_HOME=/usr/java/jdk1.8.0
        export JRE_HOME=${JAVA_HOME}/jre
        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
        export PATH=${JAVA_HOME}/bin:$PATH
        

      • 如果后面启动Hadoop的时候还报JAVA_HOME not found 则在/etc/profile 下面添加如下语句：
        

        export JAVA_HOME=/usr/java/jdk1.8.0
        export JRE_HOME=${JAVA_HOME}/jre
        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
        export PATH=${JAVA_HOME}/bin:$PATH

    • jre 安装

          sudo apt-get install default-jre

  • ssh 安装

    • 安装命令

      sudo apt-get install ssh

    • copy 秘钥

      ssh localhost
      exit                           # 退出 ssh localhost
      cd ~/.ssh                      # 如果没有该目录，先执行一次ssh localhost
      ssh-keygen -t rsa              # 一直按回车就可以
      cp id_rsa.pub authorized_keys

• 开始安装
  
  • 下载安装包：http://hadoop.apache.org/releases.html（选择binary的安装包，不要选择源文件）
  • 解压之后 进入该目录 执行 bin/hadoop 如果提示你Hadoop的命令的话，恭喜你安装成功！
  • 如果有错的话，请看这篇博文，这是我遇到的错误。

• 运行example

  • 单节点运行

    • 还是进入Hadoop目录，执行下述命令

          mkdir input
        cp etc/hadoop/*.xml input
        bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'
        cat output/*

    • 如果有错的话，请看这篇博文，这是我遇到的错误。

  • 伪多节点运行

    • 首先需要明白hdfs系统，hdfs是一个并行的文件系统，我们要多节点运行就需要文件读写都在hdfs文件系统中

    • 格式化文件系统: bin/hdfs dfs -format

    • 启动hdfs系统

      sbin/start-dfs.sh

    • 在hdfs中创建文件夹

      bin/hdfs dfs -mkdir /user
      bin/hdfs dfs -mkdir /user/hadoop
      bin/hdfs dfs -mkdir /user/hadoop/input
      bin/hdfs dfs -put etc/hadoop/*.xml /user/hadoop/input

    • 执行例子

      bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'

    • 如果有错的话，请看这篇博文，这是我遇到的错误。