一、安装前准备
1、下载ambari和hadoop的包,
从https://docs.hortonworks.com/HDPDocuments/ 下载到ambari和hdp的安装包,文件如下:
ambari-2.7.1.0-ubuntu16.tar.gz
HDP-UTILS-1.1.0.22-ubuntu16.tar.gz
HDP-3.0.1.0-ubuntu16-deb.tar.gz
HDP-GPL-3.0.1.0-ubuntu16-gpl.tar.gz
2、配置免密登入
命令-先安装SSH服务:sudo agt-get install opensh-server
重启SSH服务:sudo /etc/init.d/ssh restart
生成密钥:sudo ssh-keygen -t rsa -P ‘ ’
公钥认证:sudo ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名
SSH无密码登入验证:通过命令$ssh localhost,输入yes完成首次登入
单机安装ambari hadoop集群或者ambari-server与服务同在一台服务器时,需对本也配置ssh 免密,
sudo cat id_rsa.pub >> authorized_keys,如authorized_keys 不存在则vi authorized_keys;
3、集群配置
在集群每台主机上执行下面的步骤。先采用 su - 命令切换到 root 账户下
(1)vi修改/etc/hosts和/etc/hostname,其中host中要有ip:hostname。修改后需重启生效。
使用hostname -f 查看。
(2)关闭防火墙
ufw disable
(3)配置和开启ntp
apt-get install ntp
4、基础软件安装
(1)安装jdk
tar zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local
加入环境变量 /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
使环境变量生效 source /etc/profile
查看结果
java -version
(2)安装python
apt-get install python
二、安装ambari-server
1、安装 Apache Http server 服务
apt-get install apache2
访问http:localhost
2、创建ambari 目录,将安装包拷贝到 httpd 网站根目录
在 httpd 网站根目录,默认是即/var/www/html/,创建目录 ambari:
sudo mkdir /var/www/html
sudo tar -xvf ambari-2.7.1.0-ubuntu16.tar.gz -C /var/www/html/ambari/ambari/
sudo tar -xvf HDP-UTILS-1.1.0.22-ubuntu16.tar.gz -C /var/www/html/ambari/HDP-UTILS/
sudo tar -xvf HDP-3.0.1.0-ubuntu16-deb.tar.gz -C /var/www/html/ambari/HDP/
sudo tar -xvf HDP-GPL-3.0.1.0-ubuntu16-gpl.tar.gz -C /var/www/html/ambari/HDP-GPL/
3、配置本地源
分别配置ambari、HDP、HDP-UTILS,HDP-GPL 的本地源
(1)修改/var/www/html/ambari/ambari/ubuntu16/2.7.1.0-169/ambari.list
#VERSION_NUMBER=2.7.1.0-169
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
#deb http://public-repo-1.hortonworks.com/ambari/ubuntu16/2.x/updates/2.7.1.0 Ambari main
deb http://10.100.176.141/ambari/ambari/ubuntu16/2.7.1.0-169 Ambari main
(2)修改/var/www/html/ambari/HDP/ubuntu16/3.0.1.0-187/hdp.list
#deb http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/ubuntu16 HDP-UTILS main
deb http://10.100.176.141/ambari/HDP/ubuntu16/3.0.1.0-187 HDP main
deb http://10.100.176.141/ambari/HDP-UTILS/HDP-UTILS/ubuntu16/1.1.0.22 HDP-UTILS main
(3)修改/var/www/html/ambari/HDP-3.0-GPL/HDP-GPL/ubuntu16/3.0.1.0-187/hdp.gpl.list
#VERSION_NUMBER=3.0.1.0-187
#deb http://public-repo-1.hortonworks.com/HDP-GPL/ubuntu16/3.x/updates/3.0.1.0 HDP-GPL main
deb http://10.100.176.141//ambari/HDP-3.0-GPL/HDP-GPL/ubuntu16/3.0.1.0-187 HDP-GPL main
liulishe
(4)将ambari.list,hdp.list ,hdp.gpl.list 复制到 /etc/apt/sources.list.d/ 目录下,
导入key apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update
4、安装MySQL 数据库,
(1)安装过程:https://blog.csdn.net/lanlianhua_luffy/article/details/103880191
ambari-server2.7 可以用的MySQL 版本是5.X,ambari-server2.7 的ddl 脚本的MySQL 8 不支持。
(2)创建ambari库和ambari用户
create database ambari default charset utf8 COLLATE utf8_general_ci ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Password_1';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
(3)安装mysql 驱动 apt-get install libmysql-java
5、安装和启动ambari-server
(1)安装ambari-server
apt-get install ambari-server
(2)配置ambari-server
ambari-server setup
按照括号内的提示按自己的需求输入mysql,和java home信息即可
如果此时显示如下图则安装成功:可重复执行。
(3)执行ambari 数据库脚本
mysql -uambari -pPassword_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
(4)启动ambari-server
ambari-server start
会出现输入密码,record your password。
成功后访问 Ambari Server 的 Web Console,用游览器输入地址
http://[node1 的 IP]:8080
出现登录界面,默认管理员账户登录, 账户:admin 密码:admin
三、安装hadoop
admin admin 登录ambari 管理界面
hdp
3.0.1.0
选择本地仓库,并删除不需要的OS
最后输入HDP-3.0,HDP-3.0-GPL,HDP-UTILS-1.1.0.22的http地址,点击Next
把ssh -keygen 的私钥 ~/.ssh/id_rsa 整个文件内容粘贴到界面中。
安装过程中可查看日志,tail -f /var/log/ambari-server/ambari-server.log,看日志报错解决问题。可选择back 重复。
问题1、此步过程中遇到一直在confirming,但界面不报错,也不停止。查看日志/var/run/ambari-server/bootstrap/2 文件找不到,sudo mkdir var/run/ambari-server/bootstrap 后,重新执行ok。
问题2、权限问题,Permision fail,可选择back 重复测试。此次有单机安装,没有ssh 本机免密。cp id_rsa.pub authorized_keys ssh root@localhost免密。
问题3、ambari-agent 无法正确获得。原因为/etc/hosts 中没有ip:hostname。
选择要安装的服务,可先只安装hdfs,yarn,zookeeper,hive,tez。其他服务可安装成功后再安装。
按各组件master-slave,高可用,耗内存,耗磁盘等特性分配机器和主从关系。
记录各组件用户和密码。
一路点击next。
Customize Services 时hive 需配置并测试metastore db,
hive db connect test时需执行:
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar/com.mysql.jdbc.Driver
安装过程中在界面中有日志地址。
install 后是黄色,install成功,start service 失败。可以点击finish,之后再依次启动服务。
安装成功后。
到此为止,整个环境就安装完毕。
安装过程中,设置的一些参数是根据机器性能来设置的,如果搭建的环境机器配置不一样,可能参数设置也会有所差别。。