Hadoop2.7.5伪分布式配置及遇到的问题总结

系统信息

• 操作系统：Ubuntu 16.04.4 LTS 64bit
• Hadoop版本：Hadoop 2.7.5
• JDK版本：JDK 1.8.0_161 64bit

参考资料

• hadoop2.x配置
• hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装
• NameNode进程未启动

一、修改配置文件

关于JDK的安装和环境变量的配置，此处不作赘述。

在Apache Hadoop官网Release页面选择好某个版本的binary版，下载，解压至/usr/local/下

这里，我的hadoop目录为/usr/local/hadoop-2.7.5

进入hadoop目录，首先新建文件夹tmp和hdfs，接着，在hdfs里面新建data和name两个文件夹

mkdir tmp hdfs
mkdir -p hdfs/data hdfs/name

进入etc/hadoop目录下，找到以下几个文件：
hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml.template、yarn-site.xml

1.hadoop-env.sh

该文件默认有个

export JAVA_HOME=${JAVA_HOME}

将其改为你的JAVA_HOME路径，例如

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

2.core-site.xml

修改为如下内容：

    
        fs.default.name
        hdfs://localhost
        HDFS的URI，文件系统://namenode标识:端口号
    

    
        hadoop.tmp.dir
        /usr/local/hadoop-2.7.5/tmp
        namenode上本地的hadoop临时文件夹
    

3.hdfs-site.xml

修改为如下内容：

    
        dfs.namenode.name.dir
        file:/usr/local/hadoop-2.7.5/hdfs/name
        namenode上存储hdfs名字空间元数据 
    
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop-2.7.5/hdfs/data
        datanode上数据块的物理存储位置
    
    
    
        dfs.replication
        1
        副本个数，应小于datanode机器数量
    

value的值要以file:开头，否则到后面格式化节点时会出现警告

18/03/04 11:32:16 WARN common.Util: Path /usr/local/hadoop-2.7.5/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
18/03/04 11:32:16 WARN common.Util: Path /usr/local/hadoop-2.7.5/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.

4.mapred-site.xml.template

重命名为mapred-site.xml
修改为如下内容：

    
        mapreduce.framework.name
        yarn
    

5.yarn-site.xml

修改为如下内容：

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
        yarn.resourcemanager.hostname
        localhost
    

二、配置环境变量

引入以下变量，sorce或者重启电脑使变量生效

export HADOOP_HOME=/usr/local/hadoop-2.7.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

三、配置SSH

终端执行

apt install ssh
cd ~/.ssh
ssh-keygen -t rsa   # 按四个回车生，成秘钥文件
cp id_rsa.pub authorized_keys
ssh localhost   # 第一次登录

四、尝试启动Hadoop

格式化HDFS文件系统hadoop namenode -format

DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

18/03/04 12:12:22 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = lsn-ubuntu.lan/192.168.199.177
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.7.5

STARTUP_MSG:   build = https://[email protected]/repos/asf/hadoop.git -r 18065c2b6806ed4aa6a3187d77cbe21bb3dba075; compiled by 'kshvachk' on 2017-12-16T01:06Z
STARTUP_MSG:   java = 1.8.0_161
************************************************************/
18/03/04 12:12:22 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
...
...
...
18/03/04 12:12:23 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-2.7.5/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 329 bytes saved in 0 seconds.
18/03/04 12:12:23 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/03/04 12:12:23 INFO util.ExitUtil: Exiting with status 0
18/03/04 12:12:23 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at lsn-ubuntu.lan/192.168.199.177
************************************************************/

进入/usr/local/hadoop-2.7.5/sbin/

依次执行

./start-dfs.sh
./start-yarn.sh

查看是否成功的方法，终端输入jps，出现以下信息即成功。

22848 DataNode
23537 NodeManager
23233 ResourceManager
23684 Jps
23046 SecondaryNameNode
22697 NameNode

此时，在浏览器分别输入localhost:8088和localhost:50070将会看到以下两个页面。

http://localhost:8088

http://localhost:50070

五、遇到的小问题

1.配置文件中路径不规范

在配置hdfs-site.xml时出现的警告

2.NameNode或DataNode进程未成功启动

Hadoop配置后没有NameNode进程是怎么回事？ - 雷雷的回答 - 知乎
https://www.zhihu.com/question/31239901/answer/51129753

Hadoop配置后没有NameNode进程是怎么回事？ - Ansel Ting的回答 - 知乎
https://www.zhihu.com/question/31239901/answer/127300168

DataNode进程未启动-CSD，NASIA_kobe的回答