docker中搭建Hadoop集群

前提：jdk和ssh服务都已经安装完成，如未完成，请参考博主所写博客
1、创建镜像容器 -P将容器的所有端口映射到主机端口
docker run -itd -v /c/Users:/root/build -P -h master --name master --net mynetwork --ip 172.18.0.2 hadoop:master /bin/bash
docker run -itd -v /c/Users:/root/build -P -h slave1 --name slave1 --net mynetwork --ip 172.18.0.3 hadoop:slave1 /bin/bash
docker run -itd -v /c/Users:/root/build -P -h slave2 --name slave2 --net mynetwork --ip 172.18.0.4 hadoop:slave2 /bin/bash
2、运行容器
docker attach master
docker attach slave1
docker attach slave2
3、安装到/usr/local/目录下
cp jdk-8u181-linux-x64.tar.gz /usr/local/
4、解压
tar -zxvf jdk-8u181-linux-x64.tar.gz
5、重命名
mv hadoop-2.7.6 hadoop276
6、删除安装包
rm -rf hadoop-2.7.6.tar.gz
7、修改/etc/hosts文件
172.18.0.2 master
172.18.0.3 slave1
172.18.0.4 slave2
8、修改配置文件（配置时注释部分一定要删除）
配置vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk8/
配置vim yarn-env.sh
export JAVA_HOME=/usr/java/jdk8/
配置vim core-site.xml

修改配置文件
配置vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk8/
配置vim yarn-env.sh
export JAVA_HOME=/usr/java/jdk8/
配置vim core-site.xml
        
                fs.defaultFS
                hdfs://master:9000/
        
        
                hadoop.tmp.dir
                /home/hadoopdata
        
配置vim hdfs-site.xml
        
                dfs.replication
                1
        		
配置vim yarn-site.xml		
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        
        
        
                yarn.resourcemanager.address
                master:18040
        
        
        
                yarn.resourcemanager.scheduler.address
                master:18030
        
        
        
                yarn.resourcemanager.resource-tracker.address
                master:18025
        
        
        
                yarn.resourcemanager.admin.address
                master:18141
        
        
        
                yarn.resourcemanager.webapp.address
                master:18088				
配置mapred-site.xml
复制etc/hadoop/mapred-site.xml.template, 另存为 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
		
			mapreduce.framework.name
			yarn
		
修改配置slave文件
slave1
slave2

9、创建目录存放数据文件
cd /home/
mkdir /home/hadoopdata
10、配置hadoop环境变量
vim ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop276
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
11、加载变量
source ~/.bashrc
启动hadoop集群进行测试
12、启动hadoop集群进行测试
首先测试试试服务是否开启，可通过/usr/sbin/sshd -D &命令开启
a、格式化文件系统: 在master 节点执行
hdfs namenode –format
b、启动hadoop(停止:sbin/stop-all.sh)
cd /usr/local/hadoop276
sbin/start-all.sh
c、验证:
在三个节点中输入 jps
d、保存为镜像
docker commit -a “axh” -m “centos7 with jdk ssh hadoop installed” master hadoop:master
docker commit -a “axh” -m “centos7 with jdk ssh hadoop installed” slave1 hadoop:slave1
docker commit -a “axh” -m “centos7 with jdk ssh hadoop installed” slave2 hadoop:slave2