部门老大要求搭建一个四台服务器组成的hadoop集群,做一些小中型数据集的数据处理工作。
赶鸭子上架,尝试了一下ambari平台的一键式安装,感觉很方便,来分享一下过程。
第一篇博文,不足之处,望大家包含。
需要的软件和硬件:
1.三台ubuntu12的虚拟机
2.HDP-2.4.0.0-ubuntu12-deb.tar.gz
3.ambari-2.2.1.0-ubuntu12.tar.gz
4.HDP-UTILS-1.1.0.20.tar.gz
上面的三个包相对较大,我是把他放到了本地的master上,做成了一个本地库,不然每个每个节点在安装过程从网上下载速度可能有些慢,当然。。。网速够快的可以忽略。
一、虚拟机配置
1.修改主机名,参照如下表
(可以不改,我是为了方便辨认)
master | master.bigdata.com |
slave1 | slave1.bigdata.com |
slave2 | slave2.bigdata.com |
2.修改各个虚拟机的hosts文件
10.10.0.98 | master.bigdata.com | master |
10.10.0.97 | slave1.bigdata.com | slave1 |
10.10.0.96 | slave2.bigdata.com | slave2 |
3.把上面的三个包放到/var/www/html路径下,解压命令tar -zxvf
4.在master的/var/www/html路径下执行命令
python -m SimpleHTTPServer开启http服务。
5.下载一个ambari的存储库地址文件到虚拟机
命令:
(1)wget -nv http:/public-repo-1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list
(2)apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD(这条命令很重要,因为它可能会提示你缺少key导致不能继续进行,执行此条命令即可)
(3)apt-get update
6.修改官方源库配置文件/etc/apt/sources.list.d/ambari.list,注释掉原有地址,添加一行本地库地址:
deb http://master.bigdata.com:8000/AMBARI-2.2.1.0/ubuntu12/2.2.1.0-161/ Ambari main
此处可能还会用到这条命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
7.在各个虚拟机上都执行apt-get update命令更新源库文件
8.可以通过以下命令确认是否下载成功
apt-cache showpkg ambari-server
apt-cache showpkg ambari-agent
apt-cache showpkg ambari-metrics-assembly
9.在master上安装ambari-server和ambari-agent,在slave上安装ambari-agent,
命令为:apt-get install ambari-serber
apt-get install ambari-agent
10.修改ambari-agent配置,位置为/etc/ambari-agent/conf/ambari-agent.ini
把hostname修改为master.bigdata.com
11.在master上安装mysql数据库
apt-get install mysql
创建数据库用户ambari,密码为bigdata,并给用户添加权限。
12.修改mysql的配置文件,路径为/etc/mysql/my.cnf
注释掉bind-address =127.0.0.1这句,用以开启mysql的远程连接。
13.在master中执行ambari-serber setup配置ambari服务
14.在master上执行命令ambari-server start开启ambari server
查看服务开启状态命令:ambari-server status
关闭服务命令:ambari-server stop
15.完成以上步骤后,开始进行hdp平台的安装
二、HDP安装过程
访问地址 master.bigdata.com:8080,开始进行配置。用户名admin,密码admin。
安装过程如下列图片:
解决hugepage问题方法,输入以下命令:
echo never >/sys/kernel/mm/transparent_hugepage/defrag
echo never >/sys/kernel/mm/transparent_hugepage/enabled
解决ntp服务问题
apt-get install ntp
配置mysql服务和hive存储库
ambari-server setup --jdbc-driver /usr/share/java/mysql-connector-java-5.1.40-bin.jar
mysql -u root -p
create database hive;
create user 'hive'@'%' identified by 'bigdata';
grant all pribileges on hive.* to hive;
flush pririleges;
谢谢观看!!