一.配置环境

redhat6.5

server1 172.25.29.1  hadoop master nfs

server2 172.25.29.2  nfs

server3 172.25.29.3  nfs

server4 172.25.29.4  nfs

server5 172.25.29.5  高可用备机 nfs

使用 nfs 共享同步配置文件


二.Hadoop单点配置

1.安装hadoop和jdk

Linux的企业-Hadoop的多节点配置_第1张图片


使用hadoop用户运行

Linux的企业-Hadoop的多节点配置_第2张图片


2.配置hadoop在java上的运行环境

Linux的企业-Hadoop的多节点配置_第3张图片

Linux的企业-Hadoop的多节点配置_第4张图片


3.算法模块测试

Linux的企业-Hadoop的多节点配置_第5张图片

e1733804f89f021feda1af13881e0306.png

04554a45579067d5a7f8fe198c9231f0.png



output生成的数据

Linux的企业-Hadoop的多节点配置_第6张图片


4.配置单点hadoop


Linux的企业-Hadoop的多节点配置_第7张图片


Linux的企业-Hadoop的多节点配置_第8张图片

Linux的企业-Hadoop的多节点配置_第9张图片


5.给hadoop设置用户密码,设置主机之间免密

Linux的企业-Hadoop的多节点配置_第10张图片

Linux的企业-Hadoop的多节点配置_第11张图片

Linux的企业-Hadoop的多节点配置_第12张图片

9173d41f3df113e892889af7e1cf8792.png


6.设置储存节点为1个

Linux的企业-Hadoop的多节点配置_第13张图片

Linux的企业-Hadoop的多节点配置_第14张图片

7.格式化hdfs

Linux的企业-Hadoop的多节点配置_第15张图片


8.启动hadoop

Linux的企业-Hadoop的多节点配置_第16张图片


9.设置查看进程的java的命令jps的运行路径

Linux的企业-Hadoop的多节点配置_第17张图片

Linux的企业-Hadoop的多节点配置_第18张图片


10.查看节点运行状态,测试

Linux的企业-Hadoop的多节点配置_第19张图片

Linux的企业-Hadoop的多节点配置_第20张图片

11.以文本模式查看结果

Linux的企业-Hadoop的多节点配置_第21张图片


创建目录

Linux的企业-Hadoop的多节点配置_第22张图片

Linux的企业-Hadoop的多节点配置_第23张图片

Linux的企业-Hadoop的多节点配置_第24张图片

cd10aee684cec903d514127a1370e6b3.png

948165d6ad89b8c3cd4a862809e2e33a.png


四.多节点hadoop配置

使用 nfs 共享同步配置文件

1.server1配置nfs服务

179092d9a5493c3d410a915ecc335cc4.png


Linux的企业-Hadoop的多节点配置_第25张图片

Linux的企业-Hadoop的多节点配置_第26张图片

Linux的企业-Hadoop的多节点配置_第27张图片


2.在server2至server5安装nfs,并新建hadoop用户,并启动rpcbind

ba8c8f816f8a406493fe2b1021762aed.png


Linux的企业-Hadoop的多节点配置_第28张图片

Linux的企业-Hadoop的多节点配置_第29张图片


3.建立主机之间免密

Linux的企业-Hadoop的多节点配置_第30张图片

Linux的企业-Hadoop的多节点配置_第31张图片

Linux的企业-Hadoop的多节点配置_第32张图片


4.hadoop集群配置

Linux的企业-Hadoop的多节点配置_第33张图片

Linux的企业-Hadoop的多节点配置_第34张图片

Linux的企业-Hadoop的多节点配置_第35张图片


5.格式化hdfs

Linux的企业-Hadoop的多节点配置_第36张图片

Linux的企业-Hadoop的多节点配置_第37张图片


6.启动hadoop集群

Linux的企业-Hadoop的多节点配置_第38张图片

查看节点2,3和状态

bbda4c2ddd9b3a35103a1c78fdc408ed.png

ab791ae8151972a0db3ad18c8f847b83.png


7.登陆web 172.25.29.1:50070

Linux的企业-Hadoop的多节点配置_第39张图片


8.启动集群管理资源模块

Linux的企业-Hadoop的多节点配置_第40张图片

4da67337a581f327afa2701df9c7e90c.png

4074ec199f9ea69294457c688432a5c0.png

b1657ea804355d92f0bc64ffa9473d13.png