微信搜索公众号:BearData,关注更多内容。
Ambari是Hortonworks开源的大数据生态圈的管理软件,具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成),提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。搭建大数据平台主要分为两部分,一部分是大数据平台管理系统搭建,即Ambari安装,另一部分通过Ambari安装大数据生态圈组件(如Hadoop,Spark,HBase,Hive等)。
本文将介绍Ambari安装前期准备工作(本系列文章都是基于 centos7完成的)。
软件包准备
1. JDK,我们使用JDK1.8版本
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2. Apache Ambari2.6.2
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz
3. HDP2.6.2.0
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz
4. HDP-UTILS-1.1.0.21
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
环境准备
本文以三个节点为例来准备环境,主机名分别为bigdata001(192.168.163.130),bigdata002(192.168.163.132),bigdata003(192.168.163.131),并以root用户操作
1. 检查并设置hostname
在开始安装之前,我们需要设置每台机器的hostname,编辑/etc/sysconfig/networl文件,需要root权限或者具有sudo权限的用户
上述文件设置完后,检查hostname,有时会发现hostname并未修改,如下图所示
这时需要执行 hostnamectl set-hostname 主机名 命令,可以立即生效并且重启之后也会生效
再次验证hostname是否已修改,发现此时已经修改成功
2.设置hosts,编辑/etc/hosts,设置格式:主机IP地址 域名 主机名。每台机器都需要设置
3. 在每台主机上安装JDK1.8,并且设置环境变量
4. 配置SSH免密登录
Ambari和大数据生态圈组件的控制脚本都依赖SSH来执行群集范围的操作,因此我们需要配置SSH免密登录,以方便后续使用。
首先,通过根据RSA算法生成密钥对,在~/.ssh 目录下生成两个文件,id_rsa表示私钥,id_rsa.pub表示公钥。
然后执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys将公钥拷贝到authorized_keys文件中。
在这有两种配置方式,第一种方式是在每台机器上执行上述命令,将每个节点生成的id_rsa.pub追加到统一的一个authorized_keys文件中,然后将追加后的文件拷贝到每台主机的 ~/.ssh/ 目录下。第二种方式是将第一台主机的~/.ssh文件拷贝到所有其他主机上(执行命令scp ~/.ssh/* root@bigdata***:~/.ssh/),这种方式相当于是所有主机都使用了同一个秘钥对。
最后,配置完成后,需要验证是否成功。注意,由于第一需要将主机添加到know_hosts,需要确认询问,输入 y即可
5. 安装openssl,安装版本必须是1.0.1e或者更高版本
可以直接使用 yum install openssl,该版本高于要求的版本,输入y
6.检查最大文件数,官方推荐的是该值是10000或者更大
通过命令可以看出,系统默认的不符合要求,需要修改
修改并查看
7. NTP时间同步服务
首先检查服务是否开启,系统默认是关闭的
开启时间同步服务,执行 service ntpd start
8. 关闭SELinux
9. 关闭防火墙
systemctl stop firewalld.service
创建本地源
1.任意找台机器,放置安装源文件,前提必须启动httpd服务。执行以下命令,创建放置源文件的路径
mkdir -p /var/www/html/hdp_repo
2.上传前面下载的ambari-2.6.2.0-centos7.tar.gz,HDP-2.6.2.0-centos7-rpm.tar.gz,HDP-UTILS-1.1.0.22-centos7.tar.gz文件到 /var/www/html/hdp_repo目录下,或者将源文件放置在其他目录解压后创建软链也可以。
3. 解压拷贝的文件
cd /var/www/html/hdp_repo
tar -zxvf ./HDP-2.6.2.0-centos7-rpm.tar.gz -C
tar -zxvf ./HDP-UTILS-1.1.0.21-centos7.tar.gz -C
tar -zxvf ./ambari-2.6.2.0-centos7.tar.gz -C
此时访问 http://192.168.70.52/hdp_repo,就可以看到文件列表了
4. 分别为三个文件夹创建.repo文件,即yum源地址
ambari.repo
#VERSION_NUMBER=2.6.2.0-155
[ambari-2.6.2.0]
name=ambari Version - ambari-2.6.2.0
baseurl=http://192.168.70.52/hdp_repo/ambari/centos7/2.6.2.0-155
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp.repo
#VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://192.168.70.52/hdp_repo/HDP/centos7/
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp-utils.repo
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.70.52/hdp_repo/HDP-UTILS/
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
将上述三个文件拷贝同时拷贝到每个节点的/etc/yum.repo.d目录下。
以上就是基于Ambari搭建大数据平台需要准备的环境及配置过程,下一篇将会介绍如何安装Ambari。
原创文章,欢迎转载,转载请注明:转载自微信公众号BearData
扫描二维码,关注BearData