ambari2.7搭建hadoop3.0

一、安装前准备

1、下载ambari和hadoop的包,

从https://docs.hortonworks.com/HDPDocuments/ 下载到ambari和hdp的安装包,文件如下:

ambari-2.7.1.0-ubuntu16.tar.gz       
HDP-UTILS-1.1.0.22-ubuntu16.tar.gz
HDP-3.0.1.0-ubuntu16-deb.tar.gz      
HDP-GPL-3.0.1.0-ubuntu16-gpl.tar.gz

2、配置免密登入
命令-先安装SSH服务:sudo agt-get install opensh-server
重启SSH服务:sudo /etc/init.d/ssh restart
生成密钥:sudo ssh-keygen -t rsa -P ‘ ’
公钥认证:sudo ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名
SSH无密码登入验证:通过命令$ssh localhost,输入yes完成首次登入

单机安装ambari hadoop集群或者ambari-server与服务同在一台服务器时,需对本也配置ssh 免密,

sudo cat id_rsa.pub  >> authorized_keys,如authorized_keys 不存在则vi authorized_keys;

3、集群配置

在集群每台主机上执行下面的步骤。先采用 su - 命令切换到 root 账户下

(1)vi修改/etc/hosts和/etc/hostname,其中host中要有ip:hostname。修改后需重启生效。

使用hostname -f 查看。

(2)关闭防火墙

ufw disable

 (3)配置和开启ntp

apt-get install ntp

4、基础软件安装

(1)安装jdk

tar zxvf jdk-8u144-linux-x64.tar.gz  -C /usr/local

加入环境变量 /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使环境变量生效 source /etc/profile 

查看结果
java -version

(2)安装python

apt-get install python

 

二、安装ambari-server

1、安装 Apache Http server 服务

apt-get install apache2

访问http:localhost

ambari2.7搭建hadoop3.0_第1张图片

2、创建ambari 目录,将安装包拷贝到 httpd 网站根目录
在 httpd 网站根目录,默认是即/var/www/html/,创建目录 ambari:

sudo mkdir /var/www/html

sudo tar -xvf ambari-2.7.1.0-ubuntu16.tar.gz      -C   /var/www/html/ambari/ambari/
sudo tar -xvf  HDP-UTILS-1.1.0.22-ubuntu16.tar.gz -C /var/www/html/ambari/HDP-UTILS/
sudo tar -xvf  HDP-3.0.1.0-ubuntu16-deb.tar.gz      -C /var/www/html/ambari/HDP/
sudo tar -xvf  HDP-GPL-3.0.1.0-ubuntu16-gpl.tar.gz -C /var/www/html/ambari/HDP-GPL/

ambari2.7搭建hadoop3.0_第2张图片

3、配置本地源

分别配置ambari、HDP、HDP-UTILS,HDP-GPL 的本地源

(1)修改/var/www/html/ambari/ambari/ubuntu16/2.7.1.0-169/ambari.list

#VERSION_NUMBER=2.7.1.0-169
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
#deb http://public-repo-1.hortonworks.com/ambari/ubuntu16/2.x/updates/2.7.1.0 Ambari main
deb http://10.100.176.141/ambari/ambari/ubuntu16/2.7.1.0-169 Ambari main

(2)修改/var/www/html/ambari/HDP/ubuntu16/3.0.1.0-187/hdp.list

#deb http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/ubuntu16 HDP-UTILS main

deb http://10.100.176.141/ambari/HDP/ubuntu16/3.0.1.0-187 HDP main
deb http://10.100.176.141/ambari/HDP-UTILS/HDP-UTILS/ubuntu16/1.1.0.22 HDP-UTILS main

(3)修改/var/www/html/ambari/HDP-3.0-GPL/HDP-GPL/ubuntu16/3.0.1.0-187/hdp.gpl.list

#VERSION_NUMBER=3.0.1.0-187
#deb http://public-repo-1.hortonworks.com/HDP-GPL/ubuntu16/3.x/updates/3.0.1.0 HDP-GPL main

deb http://10.100.176.141//ambari/HDP-3.0-GPL/HDP-GPL/ubuntu16/3.0.1.0-187 HDP-GPL main
liulishe

(4)将ambari.list,hdp.list ,hdp.gpl.list 复制到 /etc/apt/sources.list.d/ 目录下,

导入key apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update

4、安装MySQL 数据库,

(1)安装过程:https://blog.csdn.net/lanlianhua_luffy/article/details/103880191

ambari-server2.7 可以用的MySQL 版本是5.X,ambari-server2.7 的ddl 脚本的MySQL 8 不支持。

(2)创建ambari库和ambari用户

create database ambari default charset utf8 COLLATE utf8_general_ci ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Password_1';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

(3)安装mysql 驱动 apt-get install libmysql-java

5、安装和启动ambari-server

(1)安装ambari-server

apt-get install ambari-server

(2)配置ambari-server

ambari-server setup
按照括号内的提示按自己的需求输入mysql,和java home信息即可
如果此时显示如下图则安装成功:可重复执行。

ambari2.7搭建hadoop3.0_第3张图片

(3)执行ambari 数据库脚本

mysql -uambari -pPassword_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

(4)启动ambari-server

ambari-server start

会出现输入密码,record your password。

成功后访问 Ambari Server 的 Web Console,用游览器输入地址
http://[node1 的 IP]:8080
出现登录界面,默认管理员账户登录, 账户:admin 密码:admin

ambari2.7搭建hadoop3.0_第4张图片

三、安装hadoop

admin admin 登录ambari 管理界面

3.2.1集群名称

hdp

3.2.2选择HDP版本

3.0.1.0
选择本地仓库,并删除不需要的OS

ambari2.7搭建hadoop3.0_第5张图片

最后输入HDP-3.0,HDP-3.0-GPL,HDP-UTILS-1.1.0.22的http地址,点击Next

3.2.3安装选项

ambari2.7搭建hadoop3.0_第6张图片

把ssh -keygen 的私钥 ~/.ssh/id_rsa 整个文件内容粘贴到界面中。

3.2.4确认机器

ambari2.7搭建hadoop3.0_第7张图片

安装过程中可查看日志,tail -f /var/log/ambari-server/ambari-server.log,看日志报错解决问题。可选择back 重复。

问题1、此步过程中遇到一直在confirming,但界面不报错,也不停止。查看日志/var/run/ambari-server/bootstrap/2 文件找不到,sudo mkdir var/run/ambari-server/bootstrap 后,重新执行ok。

问题2、权限问题,Permision fail,可选择back 重复测试。此次有单机安装,没有ssh 本机免密。cp id_rsa.pub authorized_keys   ssh root@localhost免密。

问题3、ambari-agent 无法正确获得。原因为/etc/hosts 中没有ip:hostname。

3.2.5选择服务

选择要安装的服务,可先只安装hdfs,yarn,zookeeper,hive,tez。其他服务可安装成功后再安装。

3.2.6分配机器和主从节点,client

按各组件master-slave,高可用,耗内存,耗磁盘等特性分配机器和主从关系。

3.2.7自定义服务

ambari2.7搭建hadoop3.0_第8张图片

记录各组件用户和密码。

ambari2.7搭建hadoop3.0_第9张图片

一路点击next。

Customize Services 时hive 需配置并测试metastore db,
hive db connect test时需执行:
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar/com.mysql.jdbc.Driver

 

3.2.9重新检查,deploy,启动和测试

ambari2.7搭建hadoop3.0_第10张图片

ambari2.7搭建hadoop3.0_第11张图片

 

安装过程中在界面中有日志地址。

ambari2.7搭建hadoop3.0_第12张图片

install 后是黄色,install成功,start service 失败。可以点击finish,之后再依次启动服务。

安装成功后。

ambari2.7搭建hadoop3.0_第13张图片

到此为止,整个环境就安装完毕。
安装过程中,设置的一些参数是根据机器性能来设置的,如果搭建的环境机器配置不一样,可能参数设置也会有所差别。。

你可能感兴趣的:(Hadoop)