001-Ambari-大数据平台搭建利器(一)

    微信搜索公众号:BearData,关注更多内容。

Ambari是Hortonworks开源的大数据生态圈的管理软件,具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成),提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。搭建大数据平台主要分为两部分,一部分是大数据平台管理系统搭建,即Ambari安装,另一部分通过Ambari安装大数据生态圈组件(如Hadoop,Spark,HBase,Hive等)。

      本文将介绍Ambari安装前期准备工作(本系列文章都是基于 centos7完成的)。

软件包准备

       1. JDK,我们使用JDK1.8版本

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

      2. Apache Ambari2.6.2

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz

     3. HDP2.6.2.0

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz

     4. HDP-UTILS-1.1.0.21

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

环境准备

       本文以三个节点为例来准备环境,主机名分别为bigdata001(192.168.163.130),bigdata002(192.168.163.132),bigdata003(192.168.163.131),并以root用户操作

    1. 检查并设置hostname

    在开始安装之前,我们需要设置每台机器的hostname,编辑/etc/sysconfig/networl文件,需要root权限或者具有sudo权限的用户

001-Ambari-大数据平台搭建利器(一)_第1张图片

      上述文件设置完后,检查hostname,有时会发现hostname并未修改,如下图所示

     这时需要执行 hostnamectl set-hostname 主机名  命令,可以立即生效并且重启之后也会生效

    再次验证hostname是否已修改,发现此时已经修改成功

    2.设置hosts,编辑/etc/hosts,设置格式:主机IP地址 域名 主机名。每台机器都需要设置

    3. 在每台主机上安装JDK1.8,并且设置环境变量

    4. 配置SSH免密登录

    Ambari和大数据生态圈组件的控制脚本都依赖SSH来执行群集范围的操作,因此我们需要配置SSH免密登录,以方便后续使用。

      首先,通过根据RSA算法生成密钥对,在~/.ssh 目录下生成两个文件,id_rsa表示私钥,id_rsa.pub表示公钥。

001-Ambari-大数据平台搭建利器(一)_第2张图片

      然后执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys将公钥拷贝到authorized_keys文件中。

      在这有两种配置方式,第一种方式是在每台机器上执行上述命令,将每个节点生成的id_rsa.pub追加到统一的一个authorized_keys文件中,然后将追加后的文件拷贝到每台主机的 ~/.ssh/ 目录下。第二种方式是将第一台主机的~/.ssh文件拷贝到所有其他主机上(执行命令scp ~/.ssh/* root@bigdata***:~/.ssh/),这种方式相当于是所有主机都使用了同一个秘钥对。

      最后,配置完成后,需要验证是否成功。注意,由于第一需要将主机添加到know_hosts,需要确认询问,输入 y即可

    5. 安装openssl,安装版本必须是1.0.1e或者更高版本

     可以直接使用 yum install openssl,该版本高于要求的版本,输入y

001-Ambari-大数据平台搭建利器(一)_第3张图片

    6.检查最大文件数,官方推荐的是该值是10000或者更大

        通过命令可以看出,系统默认的不符合要求,需要修改

001-Ambari-大数据平台搭建利器(一)_第4张图片

      修改并查看

001-Ambari-大数据平台搭建利器(一)_第5张图片

     7. NTP时间同步服务

    首先检查服务是否开启,系统默认是关闭的

    开启时间同步服务,执行 service ntpd start

    8. 关闭SELinux

001-Ambari-大数据平台搭建利器(一)_第6张图片

    9. 关闭防火墙

        systemctl stop firewalld.service

创建本地源

    1.任意找台机器,放置安装源文件,前提必须启动httpd服务。执行以下命令,创建放置源文件的路径

    mkdir -p /var/www/html/hdp_repo

    2.上传前面下载的ambari-2.6.2.0-centos7.tar.gz,HDP-2.6.2.0-centos7-rpm.tar.gz,HDP-UTILS-1.1.0.22-centos7.tar.gz文件到 /var/www/html/hdp_repo目录下,或者将源文件放置在其他目录解压后创建软链也可以。

    3. 解压拷贝的文件

    cd /var/www/html/hdp_repo

    tar -zxvf ./HDP-2.6.2.0-centos7-rpm.tar.gz -C

    tar -zxvf ./HDP-UTILS-1.1.0.21-centos7.tar.gz -C

    tar -zxvf ./ambari-2.6.2.0-centos7.tar.gz -C

    此时访问 http://192.168.70.52/hdp_repo,就可以看到文件列表了

001-Ambari-大数据平台搭建利器(一)_第7张图片

    4. 分别为三个文件夹创建.repo文件,即yum源地址

ambari.repo

#VERSION_NUMBER=2.6.2.0-155
[ambari-2.6.2.0]
name=ambari Version - ambari-2.6.2.0
baseurl=http://192.168.70.52/hdp_repo/ambari/centos7/2.6.2.0-155
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp.repo

#VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://192.168.70.52/hdp_repo/HDP/centos7/
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp-utils.repo

[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.70.52/hdp_repo/HDP-UTILS/
gpgcheck=1
gpgkey=http://192.168.70.52/hdp_repo/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

    将上述三个文件拷贝同时拷贝到每个节点的/etc/yum.repo.d目录下。

    以上就是基于Ambari搭建大数据平台需要准备的环境及配置过程,下一篇将会介绍如何安装Ambari。

 

原创文章,欢迎转载,转载请注明:转载自微信公众号BearData

 

扫描二维码,关注BearData

001-Ambari-大数据平台搭建利器(一)_第8张图片

你可能感兴趣的:(Ambari系列)