ubuntu操作系统中docker下Hadoop分布式前置环境配置实验
版本：
centos7
hadoop 3.1.3
java JDK:1.8
集群规划：
master slave1 slave2 HDFS NameNode
DataNode
DataNode SecondryNameNode
DataNode
YARN NodeManager ResourceManage
NodeManager
NodeManager
1.docker容器：
把普通用户加入到docker组：
sudo gpasswd -a $USER docker
newgrp docker配置docker容器源:
sudo vim /etc/docker/daemon.json
{
"registry-mirrors" : [
"http://registry.docker-cn.com",
"http://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com",
"https://nfesww3w.mirror.aliyuncs.com"
],
"insecure-registries" : [
"registry.docker-cn.com",
"docker.mirrors.ustc.edu.cn"
],
"debug" : true,
"experimental" : true
}
重启docker服务：
sudo systemctl restart docker
查看docker状态：
ps -ef | grep docker
拉取centos7:7.5.1804镜像：
docker pull centos:7.5.1804
查看镜像：
docker images
创建容器：
docker run --name master -it centos:7.5.1804 /bin/bash
docker run --name slave1 -it centos:7.5.1804 /bin/bash
docker run --name slave2 -it centos:7.5.1804 /bin/bash
查看容器：
docker ps -a
启动容器：
docker start a08b进入容器：
docker exec -it a08b00fdc6ce /bin/bash
2.配置ssh做免密登录:
由于最小化centos7，需安装 net-tools ,vim,openssh-server,oppenssh-clients
yum install -y net-tools
yum install -y vim
yum install -y openssh-server
yum install -y openssh-clients查看每个容器中的ip
master:172.17.0.3
slave1:172.17.0.4
slave2:172.17.0.2
设置root密码为aaaaaa：
sudo passwd修改/etc/hosts:
vi /etc/hosts172.17.0.4 slave1
172.17.0.2 slave2
172.17.0.3 master
配置ssh公钥和私钥：(一路回车）
ssh-keygen -t rsa暂时不知docker启动ssh方法
ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key
usr/sbin/sshd -D
启动后会卡住退出重启
ps -e 查看后台sshd服务已启动：
配置所有节点免密登录（包括自己）：
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-di slave23.配置JAVA_HOME环境：
master ：在/opt/目录下分别创建software和module文件夹：
mkdir /opt/softwore mkdir /opt/module将ubuntu的jdk拷贝到master /opt/software上：
docker cp jdk-8u212-linux-x64.tar.gz master:/opt/software解压jdk到 /opt/module下:
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
配置JAVA_HOME环境变量：
vi /etc/profile.d/my_env.sh添加：
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
加载配置文件：
source /etc/profile使用 java -version查看环境变量是否配置完成：
JAVA_HOME环境变量配置完毕
4 .配置hadoop_HOME环境:
将物理机的jar包拷贝到master/opt/module下：
docker cp hadoop-3.1.3.tar.gz master:/opt/software解压到/opt/module 目录下：
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置环境变量:
vi /etc/profile.d/my_env.shexport HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
加载配置文件：
source /etc/profile
用hadoop -version查看环境是否配置完成：
HADOOP_HOME环境变量配置完成
注意：
注意 配置完成后 同步给其他节点
scp -r 要发送的内容 主机名：src
5.HADOOP_配置文件：
cd /opt/module/hadoop-3.1.3/etc/hadoop
core-site.xml:
fs.defaultFS
hdfs://master:9820
hadoop.tmp.dir
/opt/module/hadoop-3.1.3/data
yarn-site.xml:
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
slave1
yarn.nodemanager.env-whitelist
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
yarn.scheduler.minimum-allocation-mb
512
yarn.scheduler.maxmum-allocation-mb
4096
yarn.nodemanager.resource.memory-mb
4096
yarn.nodemanager.pmem-check-enabled
false
yarn.nodemanager.vmem-check-enabled
false
hdfs-site.xmlL:
dfs.namenode.name.http-address
master:9870
dfs.namenode.secondary.http-address
slave2:9868
maperd-site.xml:
mapreduce.framework.name
yarn
配置完成后同步给其他节点
scp -r hadoop slave1:/opt/moder/hadoop3.1.3/etc6.启动hadoop:
格式化hadoop ：
hdfs namenode -format在hadoop3.1.3下多出data和logs两个文件
格式化成功
启动 hadoop
在master节点下：
start-dfs.sh好，启动失败
这是由于权限问题：
在每个节点增加用户：
useradd bigdata
passwd bigdata 111111增加/opt /module的权限：
chown bigdata:bigdata /module并使用bigdata用户给每个节点执行ssh免密
注意在每个节点都要执行
再次在master上启动：
start-dfs.sh在slave1上启动：
start-yarn.sh
hadoop启动成功
总结：
hadoop 启动失败 datanode 挂掉两台
docker端口问题