ubuntu操作系统中docker下Hadoop分布式前置环境配置实验

版本:

centos7

hadoop 3.1.3

java JDK:1.8

集群规划:

master slave1 slave2
HDFS

NameNode

DataNode

DataNode

SecondryNameNode

DataNode

YARN NodeManager

ResourceManage

NodeManager

NodeManager

1.docker容器:

把普通用户加入到docker组:

sudo  gpasswd -a $USER docker
newgrp docker

配置docker容器源:

 sudo vim /etc/docker/daemon.json
{
  "registry-mirrors" : [
    "http://registry.docker-cn.com",
    "http://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://nfesww3w.mirror.aliyuncs.com"
  ],
  "insecure-registries" : [
    "registry.docker-cn.com",
    "docker.mirrors.ustc.edu.cn"
  ],
  "debug" : true,
  "experimental" : true
}

重启docker服务:

sudo systemctl restart docker

查看docker状态:

ps -ef | grep docker

 拉取centos7:7.5.1804镜像:

docker pull centos:7.5.1804

查看镜像:

docker images

创建容器:

docker run --name master -it centos:7.5.1804 /bin/bash
docker run --name slave1 -it centos:7.5.1804 /bin/bash
docker run --name slave2 -it centos:7.5.1804 /bin/bash

查看容器:

docker ps -a

启动容器:

docker start a08b

进入容器:

docker exec -it a08b00fdc6ce /bin/bash

2.配置ssh做免密登录:

由于最小化centos7,需安装 net-tools ,vim,openssh-server,oppenssh-clients

yum install -y net-tools
yum install -y vim
yum install -y  openssh-server
yum install -y  openssh-clients

 查看每个容器中的ip

master:172.17.0.3

slave1:172.17.0.4

slave2:172.17.0.2

 设置root密码为aaaaaa:

sudo passwd

 修改/etc/hosts:

vi /etc/hosts
172.17.0.4      slave1
172.17.0.2      slave2
172.17.0.3      master
                       

 配置ssh公钥和私钥:(一路回车)

ssh-keygen -t rsa

 暂时不知docker启动ssh方法

ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key
usr/sbin/sshd -D

 启动后会卡住退出重启

ps -e 查看后台sshd服务已启动:

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第1张图片

 

 配置所有节点免密登录(包括自己):

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-di slave2

3.配置JAVA_HOME环境:

master :在/opt/目录下分别创建software和module文件夹:

 mkdir /opt/softwore
 mkdir /opt/module

将ubuntu的jdk拷贝到master /opt/software上:

docker cp jdk-8u212-linux-x64.tar.gz master:/opt/software

 解压jdk到 /opt/module下:

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JAVA_HOME环境变量:

vi /etc/profile.d/my_env.sh

 添加:

export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

加载配置文件:

source /etc/profile

使用 java -version查看环境变量是否配置完成:

JAVA_HOME环境变量配置完毕

4 .配置hadoop_HOME环境:

将物理机的jar包拷贝到master/opt/module下:

docker cp hadoop-3.1.3.tar.gz master:/opt/software

解压到/opt/module 目录下:

 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量:

vi /etc/profile.d/my_env.sh
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 加载配置文件:

source /etc/profile

用hadoop -version查看环境是否配置完成:

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第2张图片

HADOOP_HOME环境变量配置完成

注意:

注意 配置完成后 同步给其他节点

scp -r 要发送的内容 主机名:src

 

5.HADOOP_配置文件:

cd /opt/module/hadoop-3.1.3/etc/hadoop

core-site.xml:


        fs.defaultFS
        hdfs://master:9820


        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data

yarn-site.xml:


	yarn.nodemanager.aux-services
	mapreduce_shuffle


	yarn.resourcemanager.hostname
	slave1



	yarn.nodemanager.env-whitelist
	JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME


	yarn.scheduler.minimum-allocation-mb
	512


	yarn.scheduler.maxmum-allocation-mb
	4096


	yarn.nodemanager.resource.memory-mb
	4096


	yarn.nodemanager.pmem-check-enabled
	false


	yarn.nodemanager.vmem-check-enabled
	false

hdfs-site.xmlL:


	dfs.namenode.name.http-address
	master:9870


	dfs.namenode.secondary.http-address
	slave2:9868

maperd-site.xml:


	mapreduce.framework.name
	yarn

配置完成后同步给其他节点

scp -r hadoop slave1:/opt/moder/hadoop3.1.3/etc

 6.启动hadoop:

格式化hadoop :

hdfs namenode -format

在hadoop3.1.3下多出data和logs两个文件ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第3张图片

格式化成功

启动 hadoop

在master节点下:

start-dfs.sh

好,启动失败

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第4张图片

 这是由于权限问题:

在每个节点增加用户:

useradd bigdata
passwd bigdata 111111

增加/opt /module的权限:

chown bigdata:bigdata /module

 并使用bigdata用户给每个节点执行ssh免密

注意在每个节点都要执行

再次在master上启动:

start-dfs.sh

在slave1上启动:

start-yarn.sh

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第5张图片

 ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第6张图片

hadoop启动成功

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验_第7张图片 

 总结:

hadoop 启动失败 datanode 挂掉两台

docker端口问题

你可能感兴趣的:(分布式,docker,hadoop)