Docker快速部署Hadoop环境

Docker安装部署Hadoop环境,通过三个容器来模拟三个节点,最后只保留Master节点实现搭建。

安装环境

Ubuntu 22.04.1 LTS 和Docker 23.0.1

安装过程

拉取镜像

docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base

在这里插入图片描述

在Docker中创建网络,方便通信

docker network create --driver=bridge hadoop

创建Master节点

docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

–network hadoop :指定该容器使用创建的hadoop网络 --name Master :把该容器名称命名为Master-p 9870:9870 :将宿主机的9870端口号,映射到容器的9870端口-p 8088:8088 : 将宿主机的8088端口号,映射到容器的8088端口 这两个开放端口,其他节点不暴露端口

创建slave1和slave2节点

docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

在这里插入图片描述

分别进入三个容器修改hosts文件

在修改之前,先分别查看三台主机的容器IP,后面的是你的容器id,可以通过docker ps查看

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 9883affae876

我这里的三台主机的IP为:

Master 172.19.0.2
Slave1 172.19.0.3
Slave2 172.19.0.4

进入容器修改/etc/hosts文件

docker exec -it 9883affae876 bash

在这里插入图片描述

在Master执行集群初始化

先进入Master节点容器的/usr/local/hadoop/bin

./hadoop namenode -format

在看到这个结果就算成功了

启动集群

回到sbin目录下,输入

./start-all.sh

然后再访问IP:9870就可以查看了

![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UvcoOdnd-1680052590277)(C:\Users\DY\AppData\Roaming\marktext\images\2023-03-29-09-04-31-image.png)]](https://img-blog.csdnimg.cn/43690d790eb74159a692254bf7b9179d.png

总结,通过Docker安装真的很方便,如果大家并没有那么多时间去做这些运维的工作,Docker部署真的是一个很好的方式

你可能感兴趣的:(docker,hadoop,容器)