如何搭建hadoop集群

1、先把四台虚拟机之间打通免密登录，如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录
2、把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar通过xftp传到vmmaster这个虚拟机主机/opt/install/hadoop中
3、将hadoop-2.6.0-cdh5.14.2.tar.gz加压到opt/bigdata/hadoop中

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop

将解压后的原文件名修改为hadoop260,并将权限都修改为root
4、因为hadoop底层是java所以配置jdk进行编译

5、hadoop fs 文件系统

集群配置时将 IP 改为 主机名


6、hadoop replicas 备份

dfs.replication 备份数量改为2

dfs.hosts 添加节点白名单

7、hadoop mapreduce 计算框架




8、hadoop slaves 主机名

9、hadoop 环境变量
10、激活环境变量
11、输入
进行格式化 HDFS

如果结果出现下图说明格式化成功

12、hadoop-native库解压到hadoop260/bin/native路径下
13、解压结果如下图所示14、在/opt/bigdata/hadoop/hadoop260/sbin下

启动 jobhistory
15、分别启动hdfs和yarn，不建议使用start-all.sh命令
16、查看 hadoop 服务状态
其中主机结果下是下图所示
3个从机都是下图结果
输入网址也可看Hadoop运行状态，只要是下图就是正确的