Hadoop集群监控系统Ambari安装

Hadoop集群监控系统Ambari安装

原创文章，转载请注明出处 http://qingtangpaomian.iteye.com/blog/1671305

 

1. 写在前面

Ambari是Apache的一个开源项目，旨在提供一个Hadoop集群安装、管理、配置、监控的一体化工具。Ambari使用了开源项目hmc完成hadoop的安装功能 ， 在监控方面则使用了ganglia和nagios两个开源项目。

本人在安装ambari的过程中遇到了种种问题，特别写博客记录下来，给大家参考。

注意 ：本文当中的所有操作，建议以root账户执行。

 

 

2. Ambari安装

2.1 Step1 - 获取Ambari

1. 从SVN获取代码

# svn checkout http://svn.apache.org/repos/asf/incubator/ambari/trunk ambari

2. 将源代码打包为rpm包

使用rpm打包工具将ambari源代码打包 ： 

# yum install rpm-build

# cd hmc/package/rpm

# ./create_hmc_rpm.sh

# cd mon_dashboard/package/rpm

# ./create_dashboard_rpm.sh

注意 ： 这些步骤执行完成后，会在下面的路径中发现对应的rpm包，这些包就是ambari各组件对应的安装包。

1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm

2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm

3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm

 

2.2 Step2 - 安装Ambari Master Server

注意 ： Ambari使用的是master - slaver 的这种结构，在集群中有一个节点作为master server节点，而其他节点作为slaver，听从master节点的调度。在安装之前，需要读者对从集群当中选择一个节点作为ambari master节点。

1. 安装前的准备

在安装ambari之前，需要做一下两件事情

1) : 配置Ambari Master到其他所有Slaver的 password-less SSH（参考以下内容）

 

1. Run on ambary master: % ssh-keygen -t dsa

2. Copy pubkey to each nodes:
Scp ~/.ssh/id_dsa.pub root@<each node IP>:/.ssh/authorized_keys

3. Back up id_dsa, this will be as private key when you want to launch Ambari install Hadoop clusters.

Note: you might need create .ssh folder on each node manually.

 2) : 关闭防火墙

# service iptables stop

2. 安装Ambari Server依赖模块

注意 ： Ambari server对puppet , ruby , passenger , httpd等模块有依赖，所以在安装ambari server需要先安装依赖模块。

a. 先在本机添加yum仓库，包括redhat, hontworks以及passenger的仓库 ：

$ rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm

    如果是i386则执行以下操作：

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm

# rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm

# rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm

b. 安装php模块

# yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
#  yum install php-pdo
#  php -m | grep posix

 如果posix模块没有找到，则执行以下操作

# yum install php-process

c. 执行以下操作，安装Ambari master主要依赖

# yum install pdsh
#  yum install httpd-devel
#  yum install mod_passenger
#  yum install puppet-2.7.9
#  yum install ruby-devel

3. 安装Ambari master

# rpm -iv ambari-1.0.0-1.noarch.rpm 
#  rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm

 

2.3 Step3 - 安装Ambari Agent

1. 安装依赖（这里同Ambari Server完全相同）

a. 先在本机添加yum仓库，包括redhat, hontworks以及passenger的仓库 ：

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm

    如果是i386则执行以下操作：

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm

# rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm

# rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm

b. 安装php模块

# yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
# yum install php-pdo
# php -m | grep posix

 如果posix模块没有找到，则执行以下操作

# yum install php-process

c. 执行以下操作，安装Ambari 主要依赖

# yum install pdsh
# yum install httpd-devel
# yum install mod_passenger
# yum install puppet-2.7.9
# yum install ruby-devel

2. 安装Ambari Agent

# rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm

 

 

2.4 Step4 - 启动Ambari

1. 启动Ambari Server

a) 从网址 http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html 下载以下的三个文件，拷贝到ambari master所在机器的路径/var/run/hmc/downloads/ 下

1) jdk-6u26-linux-x64.bin

2) jdk-6u26-linux-i586.bin

3) jce_policy-6.zip

b) 启动Ambari Master

# service ambari start

2. 启动Ambari Agent

# service ambari-agent start

3. 从Web界面访问Ambari服务

搭建完成Ambari服务后，就可以通过以下Web地址访问Ambari服务 http://AMBARIMASTER/hmc/html/，如果能够成功访问，则搭建成功。