CentOS7 ambri2.6.1.5+hdp2.6.4.0 大数据平台搭建

CentOS7 ambari

前言

---

本文是讲如何在centos7（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是64位)
注意:centos7中文系统有bug（python脚本中文识别问题）,需要使用英文系统。
本文仅作参考（基本每个配置博客都有局限性和坑~），推荐先参考官方文档：

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html

以下均在root用户下执行。

1.满足最低要求

1.1 浏览器

建议使用Chrome浏览器

1.2 软件要求（每台主机上）

1. yum rpm
2. scp curl unzip tar wegt
3. openssl(v1.01以上)
4. python：2.7(注意如果有使用python3.x的需求，不要改变python环境变量，否则3.x会报错)
5. jdk:1.8以上
6. mysql:5.6以上
7. 内存要求：Ambari主机应该至少有1 GB RAM，500 MB空闲，（但如果使用的话，建议内存8g以上，我自己的虚拟机内存4g搭好后跑起来会很卡，配置低的话警告也会很多）
8. 最大打开文件描述符，更改为10000以上
9. mysql-connector-java

2. 环境准备（每台主机）

2.1 SSH免密

只需master免密其它节点

2.2 启用NTP时间同步

yum -y install ntp
systemctl start ntpd
systemctl enable ntpd

2.3 编辑主机hosts文件

192.168.44.138 ambari.master.com
192.168.44.139 ambari.slave1.com

其中后面的如ambari.master.com为完全限定域名（FQDN)（通过符号“.”）,不能简单的设为master等，如果该文件里有其他映射，如上面的配置必须要在最前面（自带的localhost下面一行），否则后面安装会报错。

2.4 设置主机名（每台机器）

以ambari.master.com为例

2.4.1

hostname ambari.master.com

2.4.2

vim /etc/hostname
ambari.master.com

两步缺一不可，通过命令验证

hostname
hostname -f
两个必须都为ambari.master.com才行

2.5 编辑网络配置文件

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ambari.master.com

2.6 禁用iptables

systemctl disable firewalld
service firewalld stop

2.7 禁用selinux

2.7.1 临时禁用

set enforece 0

2.7.2 永久禁用

vim /etc/sysconfig/selinux
SELINUX=disabled

3. 制作本地源（仅在master）

因为ambari 和 hdp 安装文件比较大，如果在线安装的话会很慢，所以最好选择本地源。
（可以在集群可以访问的任何机器上制作本地源）

3.1 安装制作本地源工具

yum -y install yum-utils createrepo

3.2 创建一个HTTP服务器

yum -y install httpd
systemctl start httpd
systemctl enable httpd

3.3 为web服务器创建目录

mkdir -p /var/www/html/hdp/HDP-UTILS

3.4 下载系统对应的安装包

其中包括Ambari、HDP、HDP-UTILS,由于HDP-GPL较小只有几百k，所以没有配置为本地源。

3.4.1 下载

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos7-rpm.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

下载地址见官方文档：https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_obtaining-public-repos.html

3.4.2 解压

tar -zxvf ambari-2.6.1.5-centos7.tar.gz -C /var/www/html
tar -zxvf HDP-2.6.4.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz  -C /var/www/html/hdp/HDP-UTILS/

3.4.3 解决在浏览器访问HTTP://AMBARI.MASTER.COM/HDP/HDP/CENTOS7/2.6.4.0-91 为空白

原因：该目录下index.xml使用了 https://ajax.googleapis.com/ajax/libs/jquery/3.1.1/jquery.min.js 国内访问不了谷歌，将index.xml注释掉即可

cd /var/www/html/hdp/HDP/centos7/2.6.4.0-91
mv index.xml index.xml.bak

此时应该可以在浏览器访问下面的地址了,可以验证一下

http://ambari.master.com/ambari/centos7/2.6.1.5-3/

http://ambari.master.com/hdp/HDP/centos7/2.6.4.0-91

http://ambari.master.com/hdp/HDP-UTILS/centos7/1.1.0.22

3.5 配置ambari、HDP、HDP-UTILS的本地源

cp /var/www/html/ambari/centos7/2.6.1.5-3/ambari.repo /etc/yum.repos.d/
cp /var/www/html/hdp/HDP/centos7/2.6.4.0-91/hdp.repo /etc/yum.repos.d/

将每个repo里的baseurl和gpgkey的地址修改为本地的

vim /etc/yum.repos.d/ambari.repo

#VERSION_NUMBER=2.6.1.5-3
[ambari-2.6.1.5]
name=ambari Version - ambari-2.6.1.5
baseurl=http://ambari.master.com/ambari/centos7/2.6.1.5-3
gpgcheck=1
gpgkey=http://ambari.master.com/ambari/centos7/2.6.1.5-3/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim /etc/yum.repos.d/hdp.repo

#VERSION_NUMBER=2.6.4.0-91
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://ambari.master.com/hdp/HDP/centos7/2.6.4.0-91
gpgcheck=1
gpgkey=http://ambari.master.com/hdp/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://ambari.master.com/hdp/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://ambari.master.com/hdp/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

yum clean all
yum list update
yum makecache
yum repolist

4 安装ambari

yum -y install ambari-server

4.2 设置mysql连接器

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

（如果使用mysql作为hive的元数据库）

4.3 创建相关的mysql数据库

创建ambari数据库及用户，登录root用户执行下面语句：

create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

如果要安装Hive,再创建Hive数据库和用户,再执行下面的语句：

create database hive character set utf8 ;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

hive用户可以不用指定全部库的权限。

4.4 配置ambari-server

4.4.1 setup

ambar-server setup

4.4.2 配置流程

以下为全部的配置过程，其中主要是自定义jdk,输入JAVA_HOME路径，自定义数据库选mysql，输入数据库用户名，密码等

ambari-server setup
Using python  /usr/bin/python2
Setup ambari-server
Checking SELinux...
SELinux status is 'enabled'
SELinux mode is 'permissive'
WARNING: SELinux is set to 'permissive' mode and temporarily disabled.
OK to continue [y/n] (y)? y
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/jdk1.8.0_151
Validating JDK on Ambari Server...done.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):
Re-enter password:
Configuring ambari database...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.6.1.5.3.jar
...........
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

4.4.3 将AMBARI数据库脚本导入到数据库

mysql -uambari -pAmbari-123
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.4.4 启动AMBARI

ambari-server start

4.4.5 启动成功，可以通过如下地址访问：

http://ambari.master.com:8080

用户名，密码为admin admin

5 使用ambari浏览器界面安装hadoop,hive等组件

5.1 登录到ambari管理界面

5.2 安装hdp集群，点击Launch Install Wizard

5.3 设置集群名称

5.4 配置本地源

其中HDP-GPL较小,用默认的即可

5.5 设置host

其中下面的为master上ssh的私钥（~/.ssh/id_rsa）

5.6 Host确认

如果失败或者卡住不动可根据日志解决，如果warn根据提示信息解决，知道全部为Success才可以进行下一步。

5.7 选择要安装的服务

如果有依赖其他组件选择ok即可，如安装hive依赖tez，pig等

5.8 设置各个服务Master

5.9 设置Slaves 和 Clients

5.10 自定义配置

其中红色的必须要改，大致是设置路径，密码等，如hive要设置hive元数据的数据库信息，我用的master上的mysql

测试一下连接

没有了红色的即可进行下一步，如遇到warn，可根据提示信息进行修改配置，也可以忽略警告，等装完以后再改。

5.11 review前面的配置

5.12 安装、启动、测试

5.13 安装完成

若最后出现警告，可以装完重启所有服务，再检查看看有没有问题，如有警告或启动失败，可根据日志排查原因，一开始安装的的组件较多的话，出现警告的可能性会大一些，所以可以先装几个必要的组件，之后一个一个组件装。

5.14 概要

5.15 启动成功

Question:

• SSLError: Failed to connect. Please check openssl versions

  尝试了网上的许多方法，大体总结以下几种：

  1. 升级openssl（这个应该没有大问题）
  2. 将JDK换成ORACLE jdk不是sun jdk
  3. 修改python配置文件

vi /etc/python/cert-verification.cfg
[https]
verify=disable

        4 修改ambari配置文件

vim /etc/ambari-agent/conf/ambari-agent.ini
[security]
force_https_protocol=PROTOCOL_TLSv1_2

---

本博文转载至伦少的博客欢迎大家关注他!

在他的基础上发现少许错误，已经修改。

我按照这篇文档搭建成功，如果有问题可以Email我：[email protected]

写在后面

这是本人的个人博客，欢迎关注：

CSDN：弓昭的技术博客

简书：弓昭的简书

掘金：弓昭的个人主页

如果有问题可以Email或者留言与我交流

[email protected]
PS: 每篇博文都有PDF版本，想要的朋友可以email我

参考链接：

轮少的博客