Hadoop伪分布式环境搭建

本文主要描述搭建Hadoop2.7.3伪分布环境.
主要参考文档

一,首先需要的软件

• JDK
  JDK是必须的,对应Hadoop需要的JDK见说明
  JDK安装完毕后,需要配置环境变量JAVA_HOME
• SSH
  SSH用来管理远程Hadoop

二,下载Hadoop并解压

从官网下载所需版本低Hadoop,然后解压到指定位置
1, 接下来修改配置文件 etc/hadoop/core-site.xml
用来指定HDFS

    
        fs.defaultFS
        hdfs://localhost:9000
    

Hadoop默认工作目录在/tmp/hadoop-{username}下面
而/tmp目录在计算机重启的时候会被清空
所以指定一下Hadoop工作目录

        hadoop.tmp.dir
        /opt/workspace

3,由于是伪分布式,所以没必要DataNode中的每个block备份三份,一份即可
修改 etc/hadoop/hdfs-site.xml

    
        dfs.replication
        1
    

三,设置免密登录

如果输入命令ssh localhost后提示登录密码,那么需要进行如下免密设置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
chmod 0600 ~/.ssh/authorized_keys

四,启动

1,格式化HDFS

bin/hdfs namenode -format

2,启动

sbin/start-all.sh

3,通过jps查看是否成功启动

root@iZ28bsk3aqoZ:/usr/software/hadoop-2.7.3/sbin# jps
6340 ResourceManager
6165 SecondaryNameNode
5992 DataNode
7336 Jps
5884 NameNode
6445 NodeManager

五,可能遇到的问题

Starting namenodes on [localhost]
localhost: Error: JAVA_HOME is not set and could not be found.
localhost: Error: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [0.0.0.0]
0.0.0.0: Error: JAVA_HOME is not set and could not be found.

意思是找不到环境变量JAVA_HOME,但是我们已经在/etc/profile中设置了
这时我们修改hadoop/etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}删除
然后添加对应jdk的路径
export JAVA_HOME=/usr/lib/jvm/java1.8即可