关于JDK的安装及其环境变量的配置,此处不作赘述。
关于hosts和hostname的说明:
由于是单机伪分布,此处我将hostname修改成localhost,修改/etc/hostname
即可。/etc/hosts
文件只保留127.0.0.1 localhost
,修改完后记得重启电脑使之生效。
在Apache Hadoop官网Release页面选择好某个版本的binary版,下载,解压至/usr/local/
下
这里,我的hadoop目录为/usr/local/hadoop-2.7.5
进入hadoop目录,首先新建文件夹tmp和hdfs,接着,在hdfs里面新建data和name两个文件夹
mkdir tmp hdfs
mkdir -p hdfs/data hdfs/name
进入etc/hadoop
目录下,找到以下几个文件:
hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml.template、yarn-site.xml。
core-site.xml包含了整个Hadoop发行版的通用配置,hdfs-site.xml包含了HDFS的配置,mapred-site.xml.template包含了MapReduce的配置。
该文件默认有个
export JAVA_HOME=${JAVA_HOME}
将其改为你的JAVA_HOME路径,例如
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
修改为如下内容:
<configuration>
<property>
<name>fs.default.namename>
<value>hdfs://localhostvalue>
<description>HDFS的URI,文件系统://namenode标识:端口号description>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/usr/local/hadoop-2.7.5/tmpvalue>
<description>namenode上本地的hadoop临时文件夹description>
property>
configuration>
修改为如下内容:
<configuration>
<property>
<name>dfs.namenode.name.dirname>
<value>file:///usr/local/hadoop-2.7.5/hdfs/namevalue>
<description>namenode上存储hdfs名字空间元数据 description>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>file:///usr/local/hadoop-2.7.5/hdfs/datavalue>
<description>datanode上数据块的物理存储位置description>
property>
<property>
<name>dfs.replicationname>
<value>1value>
<description>副本个数,应小于datanode机器数量description>
property>
configuration>
value的值要以file://
开头,否则到后面格式化节点时会出现警告
18/03/04 11:32:16 WARN common.Util: Path /usr/local/hadoop-2.7.5/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
18/03/04 11:32:16 WARN common.Util: Path /usr/local/hadoop-2.7.5/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
重命名为mapred-site.xml
修改为如下内容:
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
修改为如下内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>localhostvalue>
property>
configuration>
更多关于Hadoop的配置,可以参考《Hadoop MapReduce实战手册》
中第3章 高级Hadoop MapReduce运维 中的内容。
引入以下变量,用sorce
命令或者重启电脑使变量生效
export HADOOP_HOME=/usr/local/hadoop-2.7.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
我在搭建完Hadoop集群后才发现SSH的配置是如此重要,之前没有详细写,现在补上。
Hadoop集群之间是通过SSH进行通讯的,这就要求主节点和其他节点之间可以通过SSH进行登录,并且要免密登录。对于单机伪分布来说,一台电脑既是主节点,也是数据节点,所以只需要这台电脑开启SSH服务,并能免密登录自己就好。
概括来说,当主机A通过SSH登录主机B时,会在主机A的~/.ssh/
目录下生成一个known_hosts文件用来记录主机B的一些信息。实现免密登录,在主机A上使用命令ssh-keygen -t rsa
,会在A的~/.ssh/
下生成id_rsa
和id_rsa.pub
,这个id_rsa.pub
即是A的公钥,当主机B的~/.ssh/
目录下有A的公钥的时候,A就可以免密登录到B。
各位可参考linux实现ssh免密码登录的正确方法
终端执行
apt install ssh
#如果没有的话就新建一个,但一定要将.ssh目录的权限设置成700
cd ~/.ssh
# 执行下面命令,按四个回车生,成秘钥文件
ssh-keygen -t rsa
# 将公钥文件拷贝到目标主机的.ssh目录下,变成authorized_keys,此处目标主机也是localhost
ssh-copy-id -i id_rsa.pub user_name@localhost
# 登录目标主机
ssh localhost
注意:.ssh
目录的权限一定要为700,authorized_keys
的权限一定要为600,否则会因权限问题导致无法实现免密登录。
格式化HDFS文件系统hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
18/03/04 12:12:22 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = lsn-ubuntu.lan/192.168.199.177
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.7.5
STARTUP_MSG: build = https://[email protected]/repos/asf/hadoop.git -r 18065c2b6806ed4aa6a3187d77cbe21bb3dba075; compiled by 'kshvachk' on 2017-12-16T01:06Z
STARTUP_MSG: java = 1.8.0_161
************************************************************/
18/03/04 12:12:22 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
...
...
...
18/03/04 12:12:23 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-2.7.5/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 329 bytes saved in 0 seconds.
18/03/04 12:12:23 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/03/04 12:12:23 INFO util.ExitUtil: Exiting with status 0
18/03/04 12:12:23 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at lsn-ubuntu.lan/192.168.199.177
************************************************************/
进入/usr/local/hadoop-2.7.5/sbin/
依次执行
./start-dfs.sh
./start-yarn.sh
查看是否成功的方法,终端输入jps
,出现以下信息即成功。
22848 DataNode
23537 NodeManager
23233 ResourceManager
23684 Jps
23046 SecondaryNameNode
22697 NameNode
此时,在浏览器分别输入localhost:8088
和localhost:50070
将会看到以下两个页面。
在配置hdfs-site.xml
时出现的警告
Hadoop配置后没有NameNode进程是怎么回事? - 雷雷的回答 - 知乎
https://www.zhihu.com/question/31239901/answer/51129753
Hadoop配置后没有NameNode进程是怎么回事? - Ansel Ting的回答 - 知乎
https://www.zhihu.com/question/31239901/answer/127300168
DataNode进程未启动-CSD,NASIA_kobe的回答
如果你用腾讯云和阿里云的多个云服务器搭建Hadoop集群,NameNode进程未能启动的话,请参考我另一篇博客,4月份小问题总结的第4条,这里提供了一种解决思路。其他云服务器也可参考。