D001.7 Docker搭建Hadoop集群（实践篇）

0x00 教程内容

1. 环境及资源准备
2. 生成容器
3. 检验Hadoop

0x01 环境及资源准备

1. 安装Docker

请参考：D001.5 Docker入门（超级详细基础篇）的“0x01 Docker的安装”小节

2. 准备资源

根据文末总结的文件目录结构，拷贝文章的资源，资源请参考：D001.6 Docker搭建Hadoop集群

0x02 生成容器

1. 生成样本镜像

a. 切换成root用户（密码：shaonaiyi）
su root

在这里插入图片描述

b. 拷贝资源文件hadoop进到docker_bigdata目录（此处使用Xftp软件）
mkdir docker_bigdata

在这里插入图片描述

c. 生成样本镜像：shaonaiyi/hadoop
cd docker_bigdata/hadoop
docker build -t shaonaiyi/hadoop .
此过程时间根据自己网络情况与自己装docker时的配置有关（10分钟左右）

在这里插入图片描述

出现下图表示成功：

在这里插入图片描述

2. 创建bigdata网络

a. 修改脚本权限
chmod 700 build_network.sh
b. 创建网络
./build_network.sh
修改及创建后如图：

在这里插入图片描述

3. 启动容器

a. 修改脚本权限
cd config
chmod 700 start_containers.sh
b. 启动容器（映射的端口多的为master）
./start_containers.sh

在这里插入图片描述

0x03 检验Hadoop

1. 启动Hadoop

a. 查看启动的容器
docker ps
b. 进入容器hadoop-maste（注意修改成自己的容器ID）
docker attach c49b5823737a
c. 修改脚本执行权限
ll
chmod 700 start-hadoop.sh
d. 启动Hadoop集群
./start-hadoop.sh
执行成功截图为：

在这里插入图片描述

2. Web UI界面查看

a. 切换终端，查看端口映射（可看到51070端口映射到docker的50070端口）
docker port hadoop-maste

在这里插入图片描述

b. 在我们的windows系统执行（ip:51070）

在这里插入图片描述

2. 停止并删除容器指令

a. 修改脚本权限
cd /home/shaonaiyi/docker_bigdata/hadoop/config/
chmod 700 stop_containers.sh
b. 删除容器
./stop_containers.sh
c. 查看执行的容器（没有则表示删除成功）
docker ps

在这里插入图片描述

0xFF 总结

1. 如需要获取资源，除了参考上一篇博文，还可以加微信：shaonaiyi888获取
2. 本文为搭建Hadoop集群的实践篇，注意分清Windows、Centos、Docker的层次关系
3. 下一篇文章将会进行Spark集群的搭建，D001.8 Docker搭建Spark集群（实践篇）

作者简介：邵奈一

大学大数据讲师、大学市场洞察者、专栏编辑

公众号、微博、CSDN：邵奈一

本系列课均为本人：邵奈一 原创，如转载请标明出处