Ambari安装简介

Ambari

介绍

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFSMapReduceHivePig HbaseZookeperSqoopHcatalog等。

Apache Ambari 支持HDFSMapReduceHivePigHbaseZookeperSqoopHcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

建议

需对hadoop生态圈的各个组件以及环境配置,参数有一定的知识,才建议使用ambari搭建

对比(CDH)

1Hortonworks Hadoop区别于其他的Hadoop发行版(Cloudera)的根本就在于,Hortonworks的产品均是百分之百开源。
2Cloudera有免费版和企业版,企业版只有试用期
3apache hadoop则是原生的hadoop
4、目前在中国流行的是apache hadoopCloudera CDH,当然Hortonworks也有用的5Apache Ambari是一个基于web的工具,用于配置、管理和监视Apache Hadoop集群,支持Hadoop HDFSHadoop MapReduceHiveHCatalog,HBaseZooKeeperOoziePigSqoopAmbari同样还提供了集群状况仪表盘,比如heatmaps和查看MapReducePigHive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。

 

准备

安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.13

主节点:master(172.26.99.126)

从节点:slave1(172.26.99.127)slave2(172.26.99.128)slave3(172.26.99.129)

注意事项:确保所有节点时间同步;确保所有节点能互相通信以及能访问外网

配置SSH免密码登录

主节点(master)root用户登录执行如下步骤

 

ssh-keygen

cd ~/.ssh/

cat id_rsa.pub>> authorized_keys

 

在从节点登录root执行命令

mkdir ~/.ssh/

 

分发主节点里配置好的authorized_keys到各从节点

scp/root/.ssh/authorized_keys [email protected]:~/.ssh/authorized_keys

scp/root/.ssh/authorized_keys [email protected]:~/.ssh/authorized_keys

scp/root/.ssh/authorized_keys [email protected]:~/.ssh/authorized_keys

创建ambari系统用户和用户组

只在主节点操作

添加ambari安装、运行用户和用户组,也可以不创建新用户,直接使用root或者系统其他账号

adduser ambari

passwd ambari

开启NTP服务

所有集群上节点都需要操作

Centos 7 命令

yum install ntp

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

检查DNS和NSCD

所有节点都要设置

ambari在安装时需要配置全域名,所以需要检查DNS.

vi /etc/hosts

172.26.99.126 master.chinadci.com master

172.26.99.127 slave1.chinadci.com slave1

172.26.99.128 slave2.chinadci.com slave2

172.26.99.129 slave3.chinadci.com slave3

每台节点里配置FQDN,如下以主节点为例(要注意FQDN的命名规范:hostname+域名)

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master.chinadci.com

关闭防火墙

所有节点都要设置

systemctl disable firewalld

systemctl stop firewalld

关闭SELinux

所有节点都要设置

查看SELinux状态:

sestatus

如果SELinuxstatus参数为enabled即为开启状态 

SELinux status: enabled

修改配置文件需要重启机器:

vi /etc/sysconfig/selinux

SELINUX=disabled

制作本地源

制作本地源只需在主节点上进行即可

相关准备工作

安装 Apache HTTP 服务器

安装HTTP服务器,允许 http 服务通过防火墙(永久)

 

yum install httpd

firewall-cmd --add-service=http

firewall-cmd --permanent --add-service=http

 

添加Apache 服务到系统层使其随系统自动启动

systemctl start httpd.service

systemctl enable httpd.service

安装本地源制作相关工具

yum install yum-utils createrepo

下载安装资源

下载Ambari 2.2.2 , HDP 2.4.2 的安装资源,本次安装是在Centos 7 上,只列出centos7的资源,其他系统的请现在对用系统的资源

Ambari 2.2.2 下载资源

OS

Format

URL

CentOS 7

Base URL

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0

CentOS 7

Repo File

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo

CentOS 7

Tarball md5 asc

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz

HDP2.4.2 下载资源

OS

Repository Name

Format

URL

CentOS 7

HDP

Base URL

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0

CentOS 7

HDP

Repo File

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo

CentOS 7

HDP

Tarball md5 asc

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/HDP-2.4.2.0-centos7-rpm.tar.gz

CentOS 7

HDP-UTILS

Base URL

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7

CentOS 7

HDP-UTILS

Repo File

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

下载上面列表的中的压缩包, 
需要下载的压缩包如下:

Ambari 2.2.2

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz

HDP 2.4.2

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz

HDP-UTILS 1.1.0

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

httpd网站根目录,默认是即/var/www/html/,创建目录ambari 
并且将下载的压缩包解压到/var/www/html/ambari目录

cd /var/www/html/

mkdir ambari

cd /var/www/html/ambari/

tar -zxvf ambari-2.2.2.0-centos7.tar.gz

tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz

tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz

验证httd网站是否可用,可以使用links 命令或者浏览器直接访问下面的地址:

http://172.26.99.126/ambari/

结果如下:

Ambari安装简介_第1张图片

配置ambari、HDP、HDP-UTILS的本地源

首先下载上面资源列表中的相应repo文件,修改其中的URL为本地的地址,相关配置如下:

wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo

wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo

 

vi ambari.repo

Ambari安装简介_第2张图片

vi hdp.repo

 Ambari安装简介_第3张图片

将上面的修改过的源放到/etc/yum.repos.d/下面

执行以下命令

yum clean all

yum list update

yum makecache

yum repolist

安装Mysql数据库

Ambari安装会将安装等信息写入数据库,建议使用自己安装的Mysql数据库,也可以不安装而使用默认数据库PostgreSQL

Mysql数据库安装过程请参考下面文章:

http://blog.csdn.net/u011192458/article/details/77394703

安装完成后创建ambari数据库及用户,登录root用户执行下面语句:

create database ambari character set utf8 ;

CREATE USER 'ambari'@'%'IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

FLUSH PRIVILEGES;

安装mysqljdbc 驱动

yum install mysql-connector-java

安装JDK

安装解压版JDK,先到官网下载jdk-8u91-linux-x64.tar.gz ,再执行下面命令:

tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/java/

vi /etc/profile

export JAVA_HOME=/opt/jdk1.8

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

source /etc/profile

安装Ambari

安装Ambari2.2.2

安装Ambari

yum install ambari-server

配置Ambari

ambari-server setup

根据操作选择提示

选择注意:ambari-server服务账号密码都是ambari

JDK路径是自定义路径/var/opt/jdk1.8

数据库配置选择的是自定义安装的Mysql

数据库的账户和密码都是ambari


导入ambari脚本

Ambari数据库脚本导入到数据库

如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambarisql脚本

Ambari用户(上面设置的用户)登录mysql

mysql -u ambari -p

use ambari source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

启动Ambari

执行启动命令,启动Ambari服务

ambari-server start

成功启动后在浏览器输入Ambari地址:

http://172.26.99.126:8080/

出现登录界面,默认管理员账户登录,账户:admin 密码:admin

Ambari安装简介_第4张图片

登录成功后出现下面的界面,至此Ambari的安装成功 

Ambari集群配置

机架:

slave1.chinadci.com172.26.99.127 /default-rack

slave2.chinadci.com172.26.99.128 /default-rack

slave3.chinadci.com172.26.99.129 /default-rack

配置:

Hadoop生态圈的各个组件日志默认安装在各个组件的根目录下,方便用于寻找。

利用ambari可以快速的搭建Hadoop集群,安装后各组件的默认安装在各个节点的/usr/hdp/目录下。

Ambari-server服务器的日志目录默认安装在/var/log目录下

Ambari-agent采集器的日志目录默认安装在/var/log目录下

文件备份一般为3

HDFS默认块大小为128M,则每个文件大小不应小于128

Yarn默认配置内存8G,即每台节点最少8GCPU核数8

参考文献: https://www.cnblogs.com/zhijianliutang/p/5731002.html

Hadoop集群运行的过程是需要将所有的数据分布记录拉入到内存中的,所以这就意味着当整个集群的数据越来越大,我们知道在大数据的环境下,几TB级别或者PB级别的数据是很常见的,这也就意味这个数据分布记录也要增大,所以需要加大内存,这里有一个参考依据:

一般1GB内存可以管理百万个block文件。

举例:bolck128M,副本为3个,200台集群,4TB数据,需要的Namenode内存为:200(服务器数)x 4194304MB(4TB数据) / (128MB x 3)=2184533.33个文件=2.18百万个文件,所以内存值也就接近于2.2G

再次,因为这里有一台机器用来做备份,所以secondarynamenode需要的内存与namenode需要的内存大概一样,然后就是从节点的各台服务器需要的内存量了

首先计算当前CPU的虚拟核数(Vcore:

虚拟核数(Vcore=CPU个数*CPU合数*HT(超线程数)

然后根据虚拟核数配置内存容量:

内存容量=虚拟核数(Vcore*2GB(至少2GB

    关于CPU的选择,因为Hadoop为分布式计算运算,所以其运行模型基本是密集型并行计算,所以推荐的CPU要尽量选择多路多核的,条件允许的话每个节点都要如此。

    然后,在一个大型的分布式集群中,还需要注意的是,因为分布式的计算,需要各个节点间进行频繁的通信和IO操作,这也就意味对网络带宽有要求,所以推荐使用千兆以上的网卡,条件允许可以万兆网卡,交换机亦如此。

注意:由于zookeeper等一些组件需要选举leader以及follow,所需节点数最少为3节点以上而且奇数,否则一个节点挂掉,导致集群无法选择leader,整个zookeeper就无法运行。

举例:

       集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2zookeeper,那么只要有1个死了zookeeper就不能用了,因为1没有过半,所以2zookeeper的死亡容忍度为0;同理,要是有3zookeeper,一个死了,还剩下2个正常的,过半了,所以3zookeeper的容忍度为1;同理你多列举几个:2->0;3->1;4->1;5->2;6->2会发现一个规律,2n2n-1的容忍度是一样的,都是n-1,所以为了更加高效,何必增加那一个不必要的zookeeper

你可能感兴趣的:(Ambari)