基于Docker搭建Hadoop集群

最近安装hadoop集群，翻了很多资料没有发现一个好安装的教程。无意间发现了这篇文章，作者已经将Hadoop打包到Docker镜像中，我们就可以快速地在单个机器上搭建Hadoop集群。
原文地址：http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/

一、三节点Hadoop集群搭建步骤

1.下载Docker镜像

sudo docker pull kiwenlau/hadoop:1.0

2.下载GitHub仓库

git clone https://github.com/kiwenlau/hadoop-cluster-docker

3.创建Hadoop网络

sudo docker network create --driver=bridge hadoop

4.运行Docker容器

cd hadoop-cluster-docker
./start-container.sh

运行结果

start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#

启动了3个容器，1个master, 2个slave
运行后就进入了hadoop-master容器的/root目录

5.启动hadoop

./start-hadoop.sh

1. 运行wordcount

./run-wordcount.sh

运行结果

input file1.txt:
Hello Hadoop
input file2.txt:
Hello Docker
wordcount output:
Docker  1
Hadoop  1
Hello   2

Hadoop网页管理地址:
NameNode: http://localhost:50070/
ResourceManager: http://localhost:8088/

二、N节点Hadoop集群搭建步骤

1.准备
参考第一部分1~3：下载Docker镜像，下载GitHub仓库，以及创建Hadoop网络

2.重新构建Docker镜像

./resize-cluster.sh 5

3.启动Docker容器

./start-container.sh 5

4.运行Hadoop
参考第一部分5~6：启动Hadoop，并运行wordcount。