Docker学习---案例：在Docker上部署CDH QuickStartVM

注意：这里案例是从官网上下载镜像并手动加载，其实可以直接从阿里云镜像站pull quickstartVM镜像

部署环境

安装步骤

1.在台式PC机上安装centos7.5操作系统

参考之前的学习日志，此处略

2.安装配置docker

参考之前的学习日志，此处略

3.安装配置docker-machine

参考之前的学习日志，此处略

4.安装VirtualBox

参考之前的学习日志，此处略

5.安装iptables

参考之前的学习日志，此处略

6.配置启动docker本地镜像仓库

参考之前的学习日志，此处略

7.用docker-machine创建cdh虚拟机

参考文档
配置虚拟机的内存为24G,vCPU为4

$ docker-machine create --driver virtualbox cdh --virtualbox-memory "24576" --virtualbox-cpu-count "4"

8.在CDH官网下载quickstartVM镜像文件、上传主机并解压

下载链接

$ tar vxf cloudera-quickstart-vm-5.13.0-0-beta-docker.tar.gz
$ cd cloudera-quickstart-vm-5.13.0-0-beta-docker
$ docker import cloudera-quickstart-vm-5.13.0-0-beta-docker.tar cdh:5.13.0

9.加载镜像文件并push到本地仓

$ docker tag cdh:5.13.0 localhost:5000/cdh
$ docker push localhost:5000/cdh

10.在cdh docker vm中将镜像pull下来

$ docker-machine ssh cdh
$ docker pull 192.168.99.1:5000/cdh # 这个IP是宿主机在VBox中的IP

11.启动quickstartVM容器

$ docker run --privileged=true -m 24576M --memory-swap -1 --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890  -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 -t -p 8888:8888 -i -d --name=mycdh 192.168.99.1:5000/cdh /usr/bin/docker-quickstart

说明：

1. -m 指定容器最大使用内存
2. –memory-swap 指定可使用的swap -1表示不限制
3. –hostname 指定容器的主机名
4. -p 指定一堆web portal的端口映射

12.启动 CDH Manager

$ docker exec -it mycdh  /bin/bash
$ /home/cloudera/cloudera-manager --enterprise

13.在宿主机配置防火墙和nat转发

放通防火墙，端口参考启动镜像中的端口：

$ sudo ipatbles -I INPUT -p tcp --dport 7187 -j ACCEPT 

设置VBox的虚拟nat转发规则，将外部请求转发到quickstartVM

$ VBoxManage controlvm "cdh" natpf1 "cdhnat1,tcp,,7187,,7187"

备注：

1. cdhnat1：规则名，不能重名
2. 7187：要转发/放通的端口号

13.在笔记本电脑上登录manager，并启动各种服务

配置hosts文件：加入1行192.168.8.182 quickstart.cloudera

14.检查各服务web portal是否可用

以Hive2为例