如何搭建hadoop集群

1、先把四台虚拟机之间打通免密登录,如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录如何搭建hadoop集群_第1张图片
2、把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar通过xftp传到vmmaster这个虚拟机主机/opt/install/hadoop中如何搭建hadoop集群_第2张图片
3、将hadoop-2.6.0-cdh5.14.2.tar.gz加压到opt/bigdata/hadoop中

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop

将解压后的原文件名修改为hadoop260,并将权限都修改为root如何搭建hadoop集群_第3张图片
4、因为hadoop底层是java所以配置jdk进行编译在这里插入图片描述
如何搭建hadoop集群_第4张图片
5、hadoop fs 文件系统

集群配置时将 IP 改为 主机名
在这里插入图片描述
如何搭建hadoop集群_第5张图片
6、hadoop replicas 备份

dfs.replication 备份数量改为2

dfs.hosts 添加节点白名单在这里插入图片描述
如何搭建hadoop集群_第6张图片
7、hadoop mapreduce 计算框架在这里插入图片描述
在这里插入图片描述
如何搭建hadoop集群_第7张图片
在这里插入图片描述
如何搭建hadoop集群_第8张图片
8、hadoop slaves 主机名在这里插入图片描述
如何搭建hadoop集群_第9张图片
9、hadoop 环境变量如何搭建hadoop集群_第10张图片
10、激活环境变量在这里插入图片描述
11、输入在这里插入图片描述
进行格式化 HDFS

如果结果出现下图说明格式化成功
在这里插入图片描述
12、hadoop-native库解压到hadoop260/bin/native路径下在这里插入图片描述
13、解压结果如下图所示在这里插入图片描述14、在/opt/bigdata/hadoop/hadoop260/sbin下

启动 jobhistory在这里插入图片描述
15、分别启动hdfs和yarn,不建议使用start-all.sh命令在这里插入图片描述
16、查看 hadoop 服务状态在这里插入图片描述
其中主机结果下是下图所示如何搭建hadoop集群_第11张图片
3个从机都是下图结果如何搭建hadoop集群_第12张图片
输入网址也可看Hadoop运行状态,只要是下图就是正确的如何搭建hadoop集群_第13张图片
如何搭建hadoop集群_第14张图片

你可能感兴趣的:(JAVA,大数据,hadoop,linux,centos,java)