linux上hadoop安装教程

1、安装SSH、配置SSH无密码登陆

      一般来说linux上的ssh是默认安装的，如果没有安装，可以输入以下命令安装。

        sudo yum install openssh-clients

        sudo yum install openssh-server

         安装完成以后， 可以尝试登录以下    ssh localhost   然后输入密码。

         确认以上步骤无误后，进行下一步，生成秘钥，并保存。
         exit                           # 退出刚才的 ssh localhost
         cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
         ssh-keygen -t rsa              # 会有提示，都按回车就可以
         cat id_rsa.pub >> authorized_keys  # 加入授权
         chmod 600 ./authorized_keys    # 修改文件权限

 

 

2、安装jdk。

      安装jdk属于比较通用得操作，网上教程也很多，就不赘述了。简单来说就是下载包，解压，配置环境变量，检查安装结果。

 

3、安装hadoop

      首先是下载，解压。不多说。可以运行以下实例看看hadoop包能不能正常运行，命令如下:

          cd /xxxx/hadoop-x.x.x                        # 进入hadoop文件目录
          mkdir ./input
          cp ./etc/hadoop/*.xml ./input              # 将配置文件作为输入文件
          ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
          cat ./output/*                                      # 查看运行结果

     

      这样就算可以程序没问题了。（温馨提示:测完记得删除）

      程序没问题就可以配置环境变量了。

          export HADOOP_HOME=/xxxx/hadoop-x.x.x

          export HADOOP_INSTALL=$HADOOP_HOME

          export HADOOP_MAPRED_HOME=$HADOOP_HOME

          export HADOOP_COMMON_HOME=$HADOOP_HOME

          export HADOOP_HDFS_HOME=$HADOOP_HOME

          export YARN_HOME=$HADOOP_HOME

          export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

          export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

          source /etc/profile              #记得加载新修改得环境变量

      修改好环境变量以后，修改hadoop配置

core-site.xml

   

        hadoop.tmp.dir

        file:/usr/local/hadoop/tmp

        Abase for other temporary directories.

   

   

        fs.defaultFS

        hdfs://localhost:9000

   

 

hdfs-site.xml

   

        dfs.replication

        1

   

   

        dfs.namenode.name.dir

        file:/usr/local/hadoop/tmp/dfs/name

   

   

        dfs.datanode.data.dir

        file:/usr/local/hadoop/tmp/dfs/data

   

     配置完成以后格式化名称节点，然后开启守护进程（用jps命令来检查启动结果）

./bin/hdfs namenode -format

./sbin/start-dfs.sh

 

4、启动yarn

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

先使用模版的配置文件，然后编辑配置文件

mapreduce.framework.name

yarn

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

执行以下命令启动yarn

./sbin/start-yarn.sh $ 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况

最后送两个url

http://localhost:50070

http://localhost:8088/cluster