基于Apache Ambari搭建Hadoop大数据平台

基于Apache Ambari搭建Hadoop大数据平台

作者：雨水/家辉  日期：2017年2月28日 CSDN博客：http://blog.csdn.net/gobitan

摘要：对于大数据的初学者来说，搭建一个Hadoop大数据基础平台不是一件容易的事。而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。本文以测试环境为例，详细介绍了整个HDP的搭建过程。

全文共分为三个部分，第一部分是Ambari的准备部分；第二部分为安装Ambari；第三部分为基于Ambari-server安装Hadoop及其生态组件。

第一部分：

第一步：基础集群主机规划

[1] ambari           192.168.81.128

[2] namenode    192.168.81.129

[3] hadoop01      192.168.81.130

[4] hadoop02      192.168.81.131  

CentOS操作系统安装

第一步：下载VMware Player，并安装。

具体过程略。

第二步：下载CentOS7，并在VMware Player上安装

[1] 下载CentOS7

CentOS有几个版本，DVD版本太大了(大约4G多)，包括图形界面，这里作为服务器工作没有必要，因此选择Minimal版本。下载地址： http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1611.iso。Minimal版本大约680M。

[2] 基于VMware Player安装

创建一个新的虚拟机，选择从iso安装，然后依次输入：

全名：centos7_64，用户名：dennis，密码：123456，虚拟机名字也为centos7_64，硬盘大小默认20G。创建好之后，修改下虚拟机的配置：内存改为2048MB，处理器核心数量改为：2，其他保持默认即可，然后开始安装。

第三步：操作系统配置

注意：以下操作如果没有特别说明，均默认以root身份执行。

[1] 安装net-tools

Miminal版本果然是小，连ifconfig命令都没有安装。执行如下安装ifconfig：

# yum search ifconfig

根据查到的安装包来安装

# yum install -y net-tools.x86_64

[2] NTP安装

# yum install -y ntp

[3] 修改文件句柄数

在/etc/security/limits.conf的末尾增加如下两行：

* hard nofile 50000

* soft nofile 50000

[4] 关闭虚拟机，然后将虚拟机拷贝三份

[5] 依次启动这四台虚拟机，修改虚拟机的hostname和hosts

  (1) 分别将/etc/hostname中的内容改为ambari, namenode, hadoop01和hadoop02；

  (2) 分别在/etc/hosts文件的后面加入如下内容：

192.168.81.128  ambari

192.168.81.129  namenode

192.168.81.130  hadoop01

192.168.81.131  hadoop02

hostname和hosts改完之后，统一把所有机器重启一遍！让配置生效！

第四步：配置Ambari Server到Ambari Agent的单向免密码登陆

在Ambari Server节点执行如下命令：

ssh-keygen -t rsa 回车后再按连续三个回车

cd .ssh/

cat id_rsa.pub >> authorized_keys

分别在其他三台机器上创建/root/.ssh目录，如下：

# mkdir /root/.ssh

然后将authorized_keys拷贝到其他三台机器的.ssh目录，如下：

scp authorized_keys NameNode:/root/.ssh/

scp authorized_keys Hadoop01:/root/.ssh/

scp authorized_keys Hadoop02:/root/.ssh/

验证配置：

[root@ambari ~]# ssh Ambari date; ssh NameNode date; ssh Hadoop01 date; ssh Hadoop02 date;

Tue Feb 28 03:26:26 PST 2017

Tue Feb 28 03:26:26 PST 2017

Tue Feb 28 03:26:26 PST 2017

Tue Feb 28 03:26:26 PST 2017

第五步：安装nginx

# rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

# yum install -y nginx

# mkdir -p /var/www/html

# chcon -Rt httpd_sys_content_t /var/www/html/

修改/etc/nginx/conf.d/default.conf内容如下:

server {

    listen       8190;

    server_name  192.168.65.130;

    location / {

        root   /var/www/html;

        index  index.html index.htm;

    }

}

# 关闭selinux

将/etc/selinux/config中的SELINUX值改为disabled，保存重启操作系统。

注：因为是测试环境，建议将其他三台机器的selinux都关闭了，这样减少很多因为端口未开放导致的问题。生产环境另当别论，可参考selinux的相关操作。

# 拷贝默认主页

# cp /usr/share/nginx/html/index.html /var/www/html/

# 启动nginx

# service nginx start

# 设置nginx开机自启动

# systemctl enable nginx.service

检查nginx是否配置正确，访问如下地址：

http://192.168.81.128:8190 

第六步：搭建Ambari本地源

从公共yum源安装太慢了，因此需要搭建私有yum源来安装。Ambari此为当前(2017-02-24)最新版本为2.4.2。具体版本可以参考：

http://docs.hortonworks.com/HDPDocuments/Ambari/Ambari-2.4.2.0/index.html 

http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/ch_Getting_Ready.html

如果要选择其他版本，可以从这里进入 http://docs.hortonworks.com/index.html，然后进行选择。

安装createrepo

[1] yum install -y createrepo

配置Ambari源

[2] wget  http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz

因为ambari-2.4.2.0-centos7.tar.gz这个文件有1.29G，因此建议用迅雷下载，然后传到CentOS上。

备注：如果要下载其他版本，可参看《Hortonworks Data Platform: Apache Ambari Installation》

[3] 解压ambari-2.4.2.0-centos7.tar.gz

将该文件移到/var/www/html/目录下，然后解压

# tar zxf ambari-2.4.2.0-centos7.tar.gz

# mv AMBARI-2.4.2.0/ ambari

[4] 创建repo

# createrepo /var/www/html/ambari/

配置HDP源

[1] wget  http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz

文件4.99G，同上，建议用迅雷下载。

[2] 解压

# tar zxf HDP-2.5.3.0-centos7-rpm.tar.gz

[3] # createrepo /var/www/html/HDP/

配置HDP-UTILS 源

[1] wget  http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

文件745M，同上，建议用迅雷下载。

[2] 解压

# tar zxf HDP-UTILS-1.1.0.21-centos7.tar.gz

[3]  # mv HDP-UTILS-1.1.0.21/ HDP-UTILS

# createrepo /var/www/html/HDP-UTILS/

编写repo文件

ambari.repo如下：

[ambari-2.4.2]

name=ambari-2.4.2

baseurl=http://192.168.81.128:8190/ambari

gpgcheck=0

HDP.repo如下：

[HDP-2.5.3]

name=HDP-2.5.3

baseurl=http://192.168.81.128:8190/HDP /centos7

gpgcheck=0

HDP-UTILS.repo如下：

[HDP-UTILS-1.1.0.21]

name=HDP-UTILS-1.1.0.21

baseurl=http://192.168.81.128:8190/HDP-UTILS /repos/centos7

gpgcheck=0

检查repo的配置是否正确

# yum repolist

repo id                                                        repo name                                                      status

HDP-2.5.3                                                      HDP-2.5.3                                                        200

HDP-UTILS-1.1.0.21                                       HDP-UTILS-1.1.0.21                                          52

ambari-2.4.2                                                   ambari-2.4.2                                                      12

status不为零即可。

将repo拷贝到其他三台机器

scp ambari.repo NameNode:/etc/yum.repos.d/

scp HDP.repo NameNode:/etc/yum.repos.d/

scp HDP-UTILS.repo NameNode:/etc/yum.repos.d/

scp ambari.repo Hadoop01:/etc/yum.repos.d/

scp HDP.repo Hadoop01:/etc/yum.repos.d/

scp HDP-UTILS.repo Hadoop01:/etc/yum.repos.d/

scp ambari.repo Hadoop02:/etc/yum.repos.d/

scp HDP.repo Hadoop02:/etc/yum.repos.d/

scp HDP-UTILS.repo Hadoop02:/etc/yum.repos.d/

可将上面命令放入一个shell文件中，一次执行！

Ambari私有库配置完成！

第二部分：安装Ambari Server

第一步：安装ambari-server

注：登陆到Ambari主机！

[1] # yum -y install ambari-server

[2] 上传jce_policy-8.zip和jdk-8u112-linux-x64.tar.gz

下载jce_policy-8.zip和jdk-8u112-linux-x64.tar.gz，将其上传到/var/lib/ambari-server/resources 

http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html

由于接下来的ambari-server setup中要安装jdk，从网上下载太慢，而直接放到resource目录没有识别出来。因此，这里先手动安装好，然后指定路径。

安装jdk三步：先解压到/opt目录，再在/etc/profile中加入

export JAVA_HOME=/opt/jdk1.8.0_112

export PATH=$PATH:$JAVA_HOME/bin

保存后再执行. /etc/profice让其生效。

[3] 配置Ambari-server

# ambari-server setup -j 

中间有询问，全部输入y，有输入全部采用默认。

数据用户名和密码：ambari/bigdata

注意：这一步有问题，采用的是Custom安装，jce没有用到

[4] 配置postgresql自启动

chkconfig --level 35 postgresql on

[5] 启动ambari-server

[root@Ambari ~]# ambari-server start

Using python  /usr/bin/python

Starting ambari-server

Ambari Server running with administrator privileges.

Organizing resource files at /var/lib/ambari-server/resources...

Ambari database consistency check started...

No errors were found.

Ambari database consistency check finished

Server PID at: /var/run/ambari-server/ambari-server.pid

Server out at: /var/log/ambari-server/ambari-server.out

Server log at: /var/log/ambari-server/ambari-server.log

Waiting for server start....................

Ambari Server 'start' completed successfully.

[6] 检查状态

[root@Ambari ~]# ambari-server status

Using python  /usr/bin/python

Ambari-server status

Ambari Server running

Found Ambari Server PID: 7913 at: /var/run/ambari-server/ambari-server.pid

[root@Ambari ~]# lsof -i:8080

COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

java    7913 dennis 1423u  IPv6  61236      0t0  TCP *:webcache (LISTEN)

[root@Ambari ~]#

[7] 网页登陆ambari-server

http://192.168.81.128:8080，用户名和密码都是admin

=====================Ambari-server搭建完成，下面开始在界面上安装Hadoop集群！

第三部分：在Ambari-server上安装Hadoop集群生态

登陆http://192.168.81.128:8080，然后点击"Launch Install Wizard"开始安装！

第一步：集群名字：dbigdata

第二步：版本选择：全部选择最新的，当前为HDP2.5，然后选择本地源中的redhat7。填写Base URL分别为：

http://192.168.81.128:8190/HDP/centos7

http://192.168.81.128:8190/HDP-UTILS/repos/centos7

第三步：安装选项

[1] 输入主机名：

NameNode

Hadoop01

Hadoop02

[2] 将私钥ida_rsa上传，这个是在做ssh免登陆那一步中生成的。

第四步：主机注册

这一步如果注册是失败，可以点开看看具体原因(如下面可能的原因)。有时候会出现一些莫名其妙的错误，这时可以重试几次。

注册过程如果发现有issues，则需要点开，然后一一解决，如下面发现的问题：

[1] jdk需要在每台机器上都有，同样的位置;

[2] 需要将另外三台的防火墙关了：service firewalld stop

[3] 另外三台的ntp未运行: service ntpd start

[4] 检查这三台机子上/etc/yum.repos.d下的repo中的URL是否正确

第五步：选择服务

安装组件的选择：

未选择安装的部分：

Falcon     0.10.0.2.5    Data management and processing platform

Storm     1.0.1.2.5    Apache Hadoop Stream processing framework

Flume     1.5.2.2.5    A distributed service for collecting, aggregating, and moving large amounts of streaming data into HDFS

Accumulo 1.7.0.2.5    Robust, scalable, high performance distributed key/value store.

Atlas    0.7.0.2.5    Atlas Metadata and Governance platform

Knox    0.9.0.2.5    Provides a single point of authentication and access for Apache Hadoop services in a cluster

Zeppelin Notebook    0.6.0.2.5    A web-based notebook that enables interactive data analytics. It enables you to make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more.

第六步：分配节点

第七步：Master和Slave选择

推荐DataNode和Client都安装。

            

Hive Metastore数据库的密码：123456，MySQL数据库(hadoop02)

Ambari Metrics: Grafana Admin Password: 123456

Smart Sense: 密码：123456

Hive->Tez Container Size： 170M-->512M

系统提示Oozie使用Derby会导致某些功能无法使用，因此要使用MySQL。

https://dev.mysql.com/downloads/connector/j/ 下载mysql-connector-java-5.1.40.zip，解压后可获得mysql-connector-java-5.1.40-bin.jar，上传至Ambari节点的/opt目录下，然后执行如下命令：

ambari-server setup --jdbc-db=mysql --jdbc-driver=/opt/mysql-connector-java-5.1.40-bin.jar

参考： http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-reference/content/using_non-default_databases_-_oozie.html

注意：以下操作在Hadoop01(也就是Oozie Server所在节点)上执行！

因为执行yum install mysql默认安装的是mariadb，它是MySQL的一个分支。

干脆采用如下安装：

[1] 安装：yum install mariadb mariadb-server

[2] 启动：service mariadb start

[3] 配置开机启动：systemctl enable mariadb

[4] 安全配置：mysql_secure_installation

初次运行时，密码为空，可直接回车。设置root密码为：123456，其他默认。

参考： http://www.linuxidc.com/Linux/2016-03/128880.htm  CentOS 7.0 使用 yum 安装 MariaDB 与 MariaDB 的简单配置

然后进入MySQL，执行如下命令：

# mysql -uroot -p123456

MariaDB [(none)]>

CREATE USER 'oozie'@'%' IDENTIFIED BY '123456';

GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';

FLUSH PRIVILEGES;

CREATE DATABASE oozie;

这些都创建好之后，需要测试下数据库的连接性。成功之后即可进入下一步！

然后就进入漫长地安装等待。。。，如果有失败的，多尝试几次！

安装成功后，登陆：http://192.168.81.128:8080/，用户名和密码都是admin。

参考资料：

[1] 《Hortonworks Data Platform: Apache Ambari Installation》

[2]  http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/   Ambari——大数据平台的搭建利器