Hadoop大数据平台实战 —— 三个节点（1个master+2个slave）实现全分布式操作

Fully-Distributed Operation（全分布式操作）

主机名	IP	节点性质
hadoop	192.168.0.3	主节点
hadoop2	192.168.0.5	从节点
hadoop3	192.168.0.6	从节点

$小规模集群：nfs-utils$

hadoop 主机下载 nfs-utils

修改配置信息

vim /etc/exports
###
/home/dsd	*(rw,anonuid=1000,anongid=1000)
###

在 hadoop2 和 hadoop3 主机添加 dsd 用户


设置 nfs 开机自启


在 hadoop2 和 hadoop3 安装 nfs-utils，启用 rpcbind 服务，并将主节点的 /home/dsd 挂载到当前主机的 /home/dsd

yum install -y nfs-utils
systemctl start rpcbind.service
mount 192.168.0.3:/home/dsd/ /home/dsd

进行上述操作后，此时 hadoop2 和 hadoop3 主机和我们之前部署的主节点就完全相同了。节省了我们重新部署的大部分时间。

清除伪分布式的残余文件，避免对后续实验造成影响

组态设置

vim /hadoop/etc/hadoop/core-site.xml  # 在核心节点标明 master 节点
vim /hadoop/etc/hadoop/workers   # 在 workers 标注数据节点
vim /hadoop/etc/hadoop/hdfs-site.xml # 修改副本数

重新格式化

hdfs namenode -format

启动（注意，多节点之间必须实现免密）

start-dfs.sh
jps

可以看到，master 节点只有 NameNode 和 SecondaryNameNode ，而 DataNode 则是在 hadoop2 和hadoop3 两台主机

设置执行 MapReduce 作业所需的 HDFS 目录，并上传

hdfs dfs -mkdir /user/
hdfs dfs -mkdir /user/dsd
hdfs dfs -mkdir input