docker+ubuntu+ambari+HDP
1.调研：
先明确几个概念：
1). Ambari只能安装Hortonworks Data Platform，即Hortonworks的开源Hadoop，不支持Apach的Hadoop平台；
2). 对于已经安装了Apach Hadoop或者其他Hadoop平台的，不能使用Ambari来管理；
docker ubuntu14.04
一台master
两台client
Ambari-2.5.2.0
HDP 2.6.2
Ambari-server
Ambari-client
Docker安装：
必须安装docker CE:http://www.mamicode.com/info-detail-2129876.html
sudo docker pull ubuntu:14.04
2.制作镜像：
换清华源
apt-get update
apt-get install vim
apt-get install openssh-service
apt-get install ntp设置root密码，方便后续ssh免密码登录，密码统一设置为123:
passwd root
123
123
vim /etc/ssh/sshd_config
替换#PermitRootLogin without-password为PermitRootLogin yes
修改默认端口22为2222配置hosts文件
vim /etc/hosts
10.108.113.168 client1.gtensor.com 10.108.112.177 client2.gtensor.com10.108.114.228 master.gtensor.com
# stackc client1
# stackd client2
# stacke master关闭防火墙
#关闭防火墙。不关闭防火墙，会导致hadoop集群通信出现问题。不仅是server机器需要关闭防火墙，建议集群内每台机器也关闭防火墙，在自动化安装过程中，某些端口被占用导致它们通信出现问题，结果最后证明是防火墙的问题。
# 在容器中部署docker服务，而docker服务又会使用到iptables，因此在启动容器时，也会同时启动容器内的iptables。但iptables必须工作在容器的privileged模式下，否则就会如上报错。如果不是以--net=host的方式进入docker没可能会出现关闭防火墙异常
apt-get install ufw
ufw status
ufw disable关闭SElinux
提示，先检查SElinux状态，若为关闭，则无需再次关闭
openssl更新可以先不用管
# ubuntu14.04不升级出现错误
openssl升级为2016版：https://blog.csdn.net/why101010/article/details/51954827
3:获取最新版本
wget http://www.openssl.org/source/openssl-1.0.1t.tar.gz 4:解压缩
tar -zxvf openssl-1.0.1t.tar.gz 5:进入目录
`这里写代码片`cd openssl-1.0.1t
6:编译安装
./config --prefix=/usr/local/ssl
make depend
make
make install 7:#修改历史的OpenSSL文件设置备份mv
mv /usr/bin/openssl /usr/bin/openssl.old
mv /usr/include/openssl /usr/include/openssl.old 8:#设置软连接使其使用新的OpenSSL版本
ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl
ln -s /usr/local/ssl/include/openssl /usr/include/openssl 9:#更新动态链接库数据
echo "/usr/local/ssl/lib" >> /etc/ld.so.confldconfig -v 这里写代码片如果是 1.0.1t，说明你安装正确了
保存镜像
再打开一个命令行窗口，保存镜像
sudo docker commit
sudo docker tag f1f1ad34d048 ambari:v1.0重命名
sudo docker save -o ambari_1.0.tar imagesID保存至本地
通过scp拷贝至远程服务器
sudo docker load -i ambari_1.0.tar载入镜像
可能用到的docker命令：
sudo docker ps -a
sudo docker kill imagesID 杀死docker进程
sudo docker rm imagesID 删除docker进程
启动命令
sudo docker run -itd -h client1.gtensor.com --privileged=True --net=host --name="net_host-hdp-client1" -v /home:/home ambari-agent:v1.0 /bin/bash
sudo docker run -itd -h client2.gtensor.com --net=host --privileged=True --name="net_host-hdp-client2" -v /home:/home ambari-agent:v1.0 /bin/bash
sudo docker run -itd -h master.gtensor.com --net=host --privileged=True --name="net_host-hdp-server" -v /home:/home ambari-server:v1.0 /bin/bash
sudo docker exec -it imagesID /bin/bash 这里必须采用--net=host的方式启用docker,因为若是再用默认，则不同节点之间的端口不能通信，除非在启用的时候用-p参数指出。
用--net=host模式，修改docker内部容器ssh的端口号为2222,因为ssh默认端口号为22，这个端口号被物理主机占用。
分别配置免密码ssh登录：
ssh-keygen -t rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub root@client1.gtensor.com -p2222
ssh-copy-id -i /root/.ssh/id_rsa.pub root@client2.gtensor.com -p2222
ssh-copy-id -i /root/.ssh/id_rsa.pub root@master.gtensor.com -p2222
测试：ssh -p2222 root@client2.gtensor.com2.Ambari安装
2.2.Ambari Server安装
在线安装：
参考文献：https://blog.csdn.net/ggz631047367/article/details/50491616
1.wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0/ambari.list
或者vim /etc/apt/sources.list.d/ambari.list,里面输入：#VERSION_NUMBER=2.5.2.0-298
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0 Ambari main
两个方法效果相同
Ambari2.5.2下载链接：http://archive.apache.org/dist/ambari/ambari-2.5.2/
注意：在后续步骤中AmbariServer会自动安装Ambari Agent到刚才指定的机器列表
2.apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CADapt-get updateapt-get install ambari-server (download ambari-server deb)
3.ambari-server setup (download java jdk)
4.ambari-server start
5.浏览器输入：http://master.gtensor.com:8080
6.账号密码默认都是:admin
离线安装：
1、下载Ambari文件，网址：https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ambari_repositories.html
2、用Python建立最简单的web服务器
eg:
mkdir web_server
cd web_server
vim aaa.txt（输入hello world!!作为测试）
python3 -m http.server 2345
浏览器访问：
http://localhost:2345/aaa.txt（在浏览器输入这个网址就可以访问刚刚建立的aaa.txt，显示hello world!）
将下载好的Ambari文件解压后，拷贝到web_server目录；
在浏览器输入:http://localhost:2345/ambari测试是否能访问到；这个网址即为下一步的baseurl。
Ambari: http://10.108.113.24:2345/ambari/ubuntu14/
HDP: http://10.108.113.24:2345/HDP/ubuntu14/
HDP-UTILS: http://10.108.113.24:2345/HDP-UTILS-1.1.0.21/repos/ubuntu14/ 3、配置
vim /etc/apt/source.list.d/ambari.list
输入内容：deb http://10.108.113.24:2345/ambari/ubuntu14/ Ambari main
然后添加秘钥：apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
这一步参考官网：https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/download_the_ambari_repo_ubuntu14.html
这一步需要注意，如果为内网，需要配置代理，用如下命令：
注意：这一条命令在所有节点上都要执行
apt-key adv --keyserver-options http-proxy="http://192.168.0.1:8001" --keyserver hkp://keyserver.ubuntu.com:80 --recv B9733A7A07513CAD
apt-key adv --keyserver-options http-proxy="http://ip:8001" --keyserver hkp://keyserver.ubuntu.com:80 --recv B9733A7A07513CAD 4、验证配置是否成功
输入：
apt-get update
apt-cache showpkg ambari-server
apt-cache showpkg ambari-agent
apt-cache showpkg ambari-metrics-assembly
如果没有报错，则配置成功 5、安装ambari-agent
ambari-agent不需要自己手动安装，在后面的步骤中，master会在验证ssh之后，在节点上安装，这一步不需要联网！！
6、安装ambari-server
在主节点上执行:
apt-get update
apt-get install ambari-server 在线配置ambari-server:
ambari-server setup ###############
注意：自己部署JDK有风险
如果出现错误：_ssl.c:510: EOF occurred in violation of protocol
则说明是JDK的问题，请使用ambari自己下载的JDK
离线配置ambari-server:
其中，ambari-server setup是需要联网，下载java JDK的。如果为内网，可以手动下载安装JDK；
JDK安装参考链接:https://blog.csdn.net/zht741322694/article/details/78960174
配置完环境变量之后 source ~/.bashrc，然后测试: java -version
# jdk1.8.0_171
/usr/jdk64/jdk1.8.0_112
###############
ambari-server setup
1).遇到Customize user account for ambari-server daemon选择n，这样ambari就会在root下执行。
接下来需要配置JDK，将下载好的JDK解压到/opt/目录下
sudo tar -xvzf jdk-8u112-linux-x64.tar.gz -C /optsudo mv /opt/jdk-* /opt/jdk
2).在配置ambari的JDK的时候，选择3，输入JAVA_HOME为/opt/jdk，其他的一直回车就好了。
启动ambari-server
sudo ambari-server start
在浏览器中，输入http://master.hadoop:8080开始安装，账号和密码为admin。
- 在内网中搭环境，通常需要配置ubuntu本地源：
参考连接：ubuntu 镜像，使用本地源：https://blog.csdn.net/u012461550/article/details/42608853
deb http://10.108.113.24:2345/ubuntu/ trusty main restricted universe multiverse
deb http://10.108.113.24:2345/ubuntu/ trusty-security main restricted universe multiverse
deb http://10.108.113.24:2345/ubuntu/ trusty-updates main restricted universe multiverse
deb http://10.108.113.24:2345/ubuntu/ trusty-backports main restricted universe multiverse
deb http://10.108.113.24:2345/ubuntu/ trusty-proposed main restricted universe multiverse3.Ambari界面下HDP的安装
1.在线安装
在线安装较为简单，参考官网链接：https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/hdp_start_the_ambari_server.html
2.离线安装
问题记录：ERROR 2018-07-04 07:02:56,804 NetUtil.py:96 - [Errno 8] _ssl.c:510: EOF occurred in violation of protocolERROR 2018-07-04 07:02:56,804 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.
问题原因：openssl版本太低，需要升级；
操作：
参考链接：https://www.cnblogs.com/findumars/p/6278906.html
查看openssl版本：openssl version
显示为2014版，则需要升级到2016版；
在终端使用wget下载最新没有漏洞的版本
wget https://www.openssl.org/source/openssl-1.1.0c.tar.gz
tar xvf openssl-1.1.0c.tar.gz
cd openssl-1.1.0c.tar.gz
./config
apt-get install zlib1g-dev
make clean
make -j4
make install
保存镜像
当运行好以后，启动服务，保存镜像。
需要用到docker commit命令等！
分布式环境启动脚本：
当机房断电后，或者其它因素导致需要重启时，壳执行下面脚本，快速启动；
以基础镜像v2版进行使用为例
基础镜像分为两个镜像server和 client版
1) 镜像导入
在master节点导入server镜像
在每个client节点导入client镜像
查看docker images 是否有hdp-server hdp-client镜像
2) 镜像启动配置
Server启动脚本(新建容器)
sudo docker stop ambari-hdp-server
sudo docker rm ambari-hdp-server
sudo docker run -itd -h master.gtensor.com --privileged=True -v /home:/home --net=host --name="ambari-hdp-server" ambari-hdp-server:v1.0 bash
sudo docker exec ambari-hdp-server service ssh start
sudo docker exec ambari-hdp-server ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
sudo docker exec ambari-hdp-server ntpd
sudo docker exec -it ambari-hdp-server bash
在docker里执行
ambari-server restart
ambari-agent restart ##################################
Client 启动命令(新建容器)
sudo docker stop ambari-hdp-agent
sudo docker rm ambari-hdp-agent
sudo docker run -itd -h {与物理主机ip对应的hosts} --privileged=True -v /home:/home --net=host --name="ambari-hdp-agent" ambari-hdp-agent:v1.0 bash
#sudo docker run -itd -h client1.gtensor.com --privileged=True -v /home:/home --net=host --name="ambari-hdp-agent" ambari-hdp-agent:v1.0 bash
#sudo docker run -itd -h client2.gtensor.com --privileged=True -v /home:/home --net=host --name="ambari-hdp-agent" ambari-hdp-agent:v1.0 bash
sudo docker exec ambari-hdp-agent service ssh start
sudo docker exec ambari-hdp-agent ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
sudo docker exec ambari-hdp-agent ntpd
sudo docker exec -it ambari-hdp-agent bash
在docker里执行
ambari-agent restart 测试1: 查看系统时间
启动后查看docker内系统时间是否正确 不正确自行调整时间
测试2: 查看免密登陆
分别
ssh master.gtensor.com
ssh client1.gtensor.com
ssh client2.gtensor.com 查看是否需要密码
警告: 容器创建脚本只需要执行一次,再执行会把原有容器删除