ambari HDP3.0 非root集群搭建详解步骤
生产环境ambari HDP3.0集群搭建详解步骤
- 安装前准备
- 安装Ambari-server
- 设置最大文件打开数（master）
- 安装httpd服务器（master）
- 安装jdk（所有主机）
- 安装时间同步服务（所有agent)
- 安装mysql 5.7（master）
- 安装ambari
- 本地yum源建立
- 执行安装
- 安装ambari-agent
- 安装
- 安装完成
- 异常报错
安装前准备
由于安装复杂，可以优先安装主节点，从节点后续添加
建议关闭所有主机防火墙,不然一个个开放port的步骤会很折磨,出现port连接不上那就是服务没有开启
给对应安装的用户配置sudo免密权限详情请参考 异常报错 1
安装Ambari-server
设置最大文件打开数（master）
官方建议为大于 10000，服务器实际设置为 655350
在 sudo vi /etc/security/limits.conf 如下内容
- soft nofile 655350
* hard nofile 655350
* soft nproc 655350
* hard nproc 655350
注释掉 sudo vi /etc/security/limits.d/20-nproc.conf 里的两行
# * soft nproc 1024
# root soft nproc unlimited
直接设置文件打开数（避免重启）需要 root 账户
# ulimit -n 655350
安装httpd服务器（master）
安装HTTP服务器，允许 http 服务通过防火墙(永久)
yum install httpd
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
设置 服务器端口 ，默认文件夹位置
vi /etc/httpd/conf/httpd.conf
这里我修改了监听端口
监听的地址,你的http主机地址
默认发布的文件位置
安装jdk（所有主机）
jdk安装包含jre,同时配置环境变量
安装时间同步服务（所有agent)
安装配置时间同步服务
yum install chrony
设置开机启动
systemctl enable chronyd.service
启动时间同步服务
systemctl start chronyd.service
安装mysql 5.7（master）
建议安装5.7版本以下，高版本某些设置有冲突
在mysql中创建用户
create database ambari default character set utf8;
create user 'ambari'@'%' identified by 'bigdata';
grant all privileges on ambari. * to 'ambari'@'%';
flush privileges;
安装ambari
在官网选择3.0下载
https://docs.cloudera.com/HDPDocuments/index.html
下载ambari
选择下载HDP
完整的就是下列四个压缩包：
ambari-2.7.1.0-centos7.tar.gz
HDP-3.0.1.0-centos7-rpm.tar.gz
HDP-GPL-3.0.1.0-centos7-gpl.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
相继解压后放入/var/www/html/hdp_repo
本地yum源建立
备份原有的YUM源的配置文件
rename .repo .repo.bak /etc/yum.repos.d/*
清除YUM缓冲 yum clean all
列出可用的YUM源 yum repolist
开启httpd服务 service httpd start (用来配置公共yum源,这里http服务我是用非外网可以访问的方式,也可以设置成内网的服务)
如果无法访问httpd
在线检查域名和端口是否开放
http://coolaf.com/tool/port
安装基本软件并配置
在/etc/yum.repos.d下创建对应的.repo文件 拷贝到每个agent
ambari.repo:
[ambari-2.7.1.0]
name=ambari_repo
baseurl= http://httpipxxx.xxx:81/hdp_repo/ambari/centos7/2.7.1.0-169/
enabled=1
gpgcheck=1
gpgkey=http://httpipxxx.xxx:81/hdp_repo/ambari/centos7/2.7.1.0-169/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
priority=1
hdp.repo:
[HDP-3.0.1.0]
name=hdp_repo
baseurl= http://httpipxxx.xxx:81/hdp_repo/HDP/centos7/3.0.1.0-187/
enabled=1
gpgcheck=1
gpgkey=http://httpipxxx.xxx:81/hdp_repo/HDP/centos7/3.0.1.0-187/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
priority=1
hdp-utils.repo:
[HDP-UTILS-1.1.0.22]
name=hdp_utils_repo
baseurl= http://httpipxxx.xxx:81/hdp_repo/HDP-UTILS/centos7/1.1.0.22/
enabled=1
gpgcheck=1
priority=1
gpgkey=http://httpipxxx.xxx:81/hdp_repo/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
hdp-gpl.repo:
[HDP-GPL-3.0.1.0-187]
name=hdp_gpl_repo
baseurl= http://httpipxxx.xxx:81/hdp_repo/HDP-GPL/centos7/3.0.1.0-187/
enabled=1
gpgcheck=0
gpgkey=http://httpipxxx.xxx:81/hdp_repo/HDP-GPL/centos7/3.0.1.0-187/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
priority=1
如果地址访问不为404,就算配置成功
执行安装
通过yum安装Ambari Server
yum install ambari-server
没有报错则表示安装成功
上传mysql.jar包
建立Ambari与MySQL驱动的连接
ambari-server setup --jdbc-db=mysql --jdbc-driver=(jar包地址)mysql-connector-java.jar
修改jar包权限为使用用户
初始化Ambari Server
ambari-server setup
这里推荐这篇博客讲的比较清楚
https://www.cnblogs.com/langfanyun/p/10368688.html
将 Ambari 数据库脚本导入到数据库
mysql -uambari -pPassword_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
开启ambari服务
ambari-server start
登录
http://masteripxxx:8080/
初始登录
admin
admin
安装ambari-agent
yum -y install ambari-agent
修改agent设置
vi /etc/ambari-agent/conf/ambari-agent.ini
这里run_as_user要改为ambari使用用户不然会出现权限问题
启动ambari-agent服务
ambari-agent start
安装
选择本地仓库
选择安装httpd源地址
情参照对应yum源的 baseurl
安装完成
检验
在ambari使用户下开启是否没有报权限问题
ambari-server start
ambari-agent start
修改对应权限
在对应非root用户下成功开启则安装完成
异常报错
一般报错请检查以下操作是否完成
1、由于ambari会检查是否有sudo权限，需要在相应节点/etc/sudoers末尾追加：dev01 ALL=(ALL) NOPASSWD:ALL
2、配置主机域名/etc/hostname，执行下：执行hostname -f命令进行验证是否生效，如果不生效，则执行hostname name（此处name为需设置的域名），使其生效；
3、ssh免秘钥登录需在使用用户下完成；
4、用chown -R命令修改repo目录下所有文件的归属权限为当前用户所有（如放置目录：/var/www/html/hdp_repo/，所属为dev01:dev01）
6、再执行# sudo ambari-server setup安装时，会出现如下提示步骤：
Customize user account for ambari-server daemon [y/n] (n)?
输入y，提示输入的用户为：dev01
7、检查/etc/ambari-agent/conf/ambari-agent.ini中
hostname是否和主机名字一致
如果报错: Ambari agent machine hostname (localhost.localdomain) does not match expected ambari server hostname (data-clean01.wanlvtech). Aborting registration. Please check hostname, hostname -f and /etc/hosts file to confirm your hostname is setup correctly 将/evc/hosts中添加主机名
给master配置hosts
Host (data-clean01.wanlvtech) is redhat7 OS type, but the repositories chosen in “Select Stack” step was amazonlinux2. Selected repositories do not support this host OS type.
这里的类型为redhat7删除其他
端口访问被拒绝
netstat -anp 查看端口是否被开启,相关服务是否开启
DateNode Install
vi /etc/python/cert-verification.cfg
[https]
verify=disable
检查yum .repo配置是否有效
HDFS Client Install
检查jdk是否安装
安装hbase时出现提示
可以先暂时不管
ambari服务启动或停止卡死
如果卡在starting状态
可以kill掉对应进程
或者直接
rm /tmp/hsperfdata_*
然后重启ambari
检查所属服务目录(默认在/etc下)是否是dev01权限 root权限容易出错