ambari 安装及使用ambari安装hadoop记录

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客

1、ambari简介

        Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。

        Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 

        百度百科-验证

2、软硬件配置

        2.1 硬件

节点类型	操作系统	ip	主机名	说明
主	Centos7	192.168.0.169	XCloud169
从	Centos7	192.168.0.170	XCloud170
从	Centos7	192.168.0.171	XCloud171

        2.2 软件

名称	版本
JDK	jdk-8u131-linux-x64.rpm
Mysql	mysql-5.7.26-linux-glibc2.12-x86_64
Ambari	ambari-2.7.1.0-centos7.tar.gz
HDP	HDP-3.0.1.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-GPL-3.0.1.0-centos7-gpl.tar.gz

 3、安装准备

        注意：此章节的配置操作，在三台主机上，均需执行。配置时，注意三台主机间的差异（hostname、IP等）。

        3.1 关闭IPV6

        使用root用户修改/etc/sysctl.conf文件，命令：

su vi /etc/sysctl.conf

        修改后：

        修改/etc/sysconfig/network文件，命令：

vi /etc/sysconfig/network

        修改后：

 

         修改/etc/sysconfig/network-scripts/ifcfg-enp0s3文件，命令：

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 注：ifcfg-enp0s3是网卡名称，实际操作时，可通过ifconfig命令，查看实际的网卡名称

        修改后：

 

        重新启动网络服务并验证，命令：

systemctl restart network.service ifconfig

        输出：

 

        如图，“inet”与“ether”之间，没有ipv6的信息，即说明ipv6已关闭。

        3.2 配置静态IP

        使用root用户，配置ip

# enp0s3是网卡名 vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

        修改后：

        应用配置，命令：

nmcli c reload nmcli d reapply enp0s3

        查看ip

 

         3.3 修改主机名

        使用root用户，修改/etc/hostname文件，命令：

su vi /etc/hostname

        修改后:

        3.4 修改hosts文件

        使用root用户，修改/etc/hosts文件，添加IP-主机映射表，命令：

su vi /etc/hosts

        修改后（添加以下内容）：

        3.5 关闭防火墙

        使用root用户，永久打开防火墙，命令：

su sudo systemctl enable firewalld

        输出：

        重启系统后，查看防火墙状态，验证：

reboot sudo systemctl status firewalld

        输出1，防火墙启动中：

        输出2，防火墙关闭中：

        永久关闭防火墙，命令：

sudo systemctl disable firewalld

        输出：

        3.6 禁用linux huge page

        命令：

vim  /etc/rc.d/rc.local

        修改后（添加如下内容）：

 

3.7 关闭selinux

        安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。

        SELinux 主要由美国国家安全局开发。2.6 及以上版本的 Linux 内核都已经集成了 SELinux 模块。

SELinux must be in disabled mode. The rhs-hadoop-install script does not recognize SELinux in permissive mode and requires SELinux to  be disabled completely. This requires additional restart of all storage machines. 来自：RedHat

        使用root用户，查看SELinux状态

su getenforce

        输出：返回“Enforcing”为开启。

        修改文件，命令：

vi /etc/sysconfig/selinux

        修改后：

        重启系统，使用root用户，查看SELinux状态，命令：

reboot sestatus(或getenforce）

        输出：

 

        3.8 添加hadoop用户及用户组

        使用root用户，创建用户、用户组，并设置用户密码，命令：

su # 看看有哪些组 cat /etc/group # 如果不存在hadoop组，则创建 groupadd hadoop # 如果hadoop用户不存在，创建hadoop用户，useradd -g [组] [用户] useradd -g hadoop hadoop # 如果hadoop用户已经存在，看一下它所属的组 groups hadoop # 如果hadoop用户不属于hadoop组，把它添加到hadoop组 ，第1各是组，第2个是用户 usermod -a -G hadoop hadoop

        3.9 SSH免密登录

        配置SSH无密码登录时，XCloud169作为主控节点，需生成SSH公钥，并将公钥发送（复制）给要无密连接的主机，导入授权文件。

        例如XCloud69节点，需要将生成的公钥(id_rsa.pub)，分别发送给XCloud170、XCloud171节点，然后分别在XCloud170、XCloud171节点上，将XCloud169的公钥导入各自的授权文件（authorized_keys）中。

        初始状态下，hadoop根目录下没有.ssh目录，使用hadoop用户，执行“ssh 主机名”生成，命令：

su hadoop ssh XCloud169 ls –al

        输出（截图中的主机是XCloud150，注意参考）：

        切换路径至hadoop用户的.ssh目录下，命令：

cd /home/hadoop/.ssh

        使用hadoop用户，生成SSH公钥，命令：

ssh-keygen -t rsa

        一直回车，输出：

        将公钥发送（复制）给要无密连接的主机（XCloud170、XCloud171）

        注意：主机XCloud169、XCloud170、XCloud171均应执行过一、二步，根目录下已生成.ssh目录

        命令：

scp  ~/.ssh/id_rsa.pub  XCloud170:~/.ssh/id_rsa_169.pub scp  ~/.ssh/id_rsa.pub  XCloud171:~/.ssh/id_rsa_169.pub

        输出：

 

        分别在XCloud170、XCloud171主机上，使用hadoop用户，将XCloud169的SSH公钥导入授权文件，命令：

su hadoop cat ~/.ssh/id_rsa_169.pub >> ~/.ssh/authorized_keys

        输出：

        分别对每台主机的hadoop用户的.ssh目录及authorized_keys文件授权，命令：

chmod 700 /home/hadoop/.ssh chmod 644 /home/hadoop/.ssh/authorized_keys

        验证，XCloud169作为主控节点，应能够无密码登录、登出其余主机。命令：

ssh hadoop@XCloud170

        输出：

4、安装JDK

        注意：此章节的配置操作，在三台主机上，均需执行。

        4.1 卸载已有JDK

        CentOS 7 自带的OpenJDK（如rhel-2.5.3.1.el7_0-x86_64 u71-b14）并非开发版的版本，未包含javac，不满足要求，因此为简化处理，首先卸载OpenJDK，安装Oracle发布的JDK，在当前，选择公司统一使用的jdk-8u131版本。

        查看CentOs7自带的java软件，命令：

rpm –qa|grep java rpm –qa|grep jdk

        切换root用户，并逐一卸载已有的java软件，以“copy-jdk-configs-3.3-10.el7_5.noarch”为例，命令：

su rpm -e --nodeps copy-jdk-configs-3.3-10.el7_5.noarch

       4.2  安装Oracle发布的JDK

        FTP上传jdk-8u131-linux-x64.rpm到CentOS上，使用root用户安装，命令：

su rpm –ivh jdk-8u131-linux-x64.rpm

        输出：

 

        修改/etc/profile文件，配置JDK环境变量，命令：

vi /etc/profile

        修改后(添加如下内容)：

 

        重新启用环境变量，并验证，命令：

su source /etc/profile java -version

        输出：

 5、安装 MySQL5.7

                        在XCloud169上，安装Mysql5.7，作为ambari的元数据库，存放ambari的元数据信息。

6、安装ambari

        注意：此章节的配置操作，如无特殊说明，则表示在三台主机上，均需执行。

        6.1 拷入mysql数据库的驱动jar

        将mysql数据库的驱动jar拷贝到 /usr/share/java 路径下。如图：

        6.2 安装httpd和wget服务

        命令：

# 安装httpd yum -y install httpd.x86_64 systemctl enable httpd.service systemctl start httpd.service # 安装wget yum -y install wget

        6.3 下载ambari和HDP安装包

        命令：

# 切换路径，将tar包下载到目录目录，这里是/opt cd /opt # 下载HDP安装包 wget http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.0.1.0/HDP-3.0.1.0-centos7-rpm.tar.gz   # 下载HDP-UTILS安装包 wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz  # 下载ambari安装包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.1.0/ambari-2.7.1.0-centos7.tar.gz # 下载HDP-GPL安装包 wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/3.x/updates/3.0.1.0/HDP-GPL-3.0.1.0-centos7-gpl.tar.gz

        6.4 构建本地资源库

        在/var/www/html路径下，创建ambari目录，命令：

cd /var/www/html mkdir ambari

        解压ambari和HDP安装包，并将解压后的安装目录移动到/var/www/html/ambari目录下，命令：

# 解压上面四个包 tar -zxvf ambari-2.7.1.0-centos7.tar.gz tar -zxvf HDP-3.0.1.0-centos7-rpm.tar.gz tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz tar -zxvf HDP-GPL-3.0.1.0-centos7-gpl.tar.gz # 将解压后的安装目录移动到/var/www/html/ambari目录下 mv  /opt/ambari  /var/www/html/ambari mv  /opt/HDP  /var/www/html/ambari mv  /opt/HDP-UTILS /var/www/html/ambari mv  /opt/HDP-GPL  /var/www/html/ambari

        验证：在浏览器中输入http://XCloud169/ambari，回车后应能看到ambari及HDP的安装包资源。如图：

        6.5 构建yum源

        切换路径至 /etc/yum.repos.d/ 目录，创建ambari.repo和hdp.repo文件。命令：

cd /etc/yum.repos.d mkdir ambari.repo mkdir hdp.repo

        如图：

        6.5.1 编辑ambari.repo文件

        命令：

vim ambari.repo

        在ambari.repo文件中，添加内容如下：

[ambari] name=ambari baseurl=http://XCloud169/ambari/ambari/centos7/2.7.1.0-169 enabled=1 gpgkey=http://XCloud169/ambari/ambari/centos7/2.7.1.0-169/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins gpgcheck=0

        效果图：

 

        注意：baseurl和gpgkey前部分的 XCloud169 是主节点的主机名，后部分从ambari开始，与资源库的路径一直，如：

 

       6.5.2  编辑hdp.repo文件

        命令：

vim HDP.repo

        在HDP.repo文件中，添加内容如下：

[HDP] name=HDP baseurl=http://XCloud169/ambari/HDP/centos7/3.0.1.0-187/ gpgkey=http://XCloud169/ambari/HDP/centos7/3.0.1.0-187/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins path=/ enabled=1 gpgcheck=0 [HDP-UTILS] name=HDP-UTILS baseurl=http://XCloud169/ambari/HDP-UTILS/centos7/1.1.0.22/ gpgkey=http://XCloud169/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins path=/ enabled=1 gpgcheck=0

        效果图：

        注意：HDP的baseurl和gpgkey前部分的 XCloud169 是主节点的主机名，后部分从ambari开始，与资源库的路径一直，如：

        HDP-UTILS同HDP。

        6.6 更新yum缓存

        命令：

yum clean all yum makecache yum repolist

        输出：

 

 

        6.7 安装在主节点安装ambari-server

        在主节点（XCloud169）上，安装ambari-server，命令：

yum -y install ambari-server

        输出：

        6.8 设置ambari-server

        在主节点（XCloud169）上，设置ambari-server，命令：

ambari-server setup

        命令执行过程中，需手动完成以下几项配置：

Customize user account for ambari-server daemon [y/n] (n)? 是否自定义ambari服务器守护程序的用户？输入y Enter user account for ambari-server daemon(root): 输入用户：输入root Enter choice(1): 输入选择：这里选择使用的JDK，选择2 （Custom JDK） Path to JAVA_HOME: java的路径：这里输入 /usr/java/jdk1.8.0.131 Enable Ambari Server to download and install GPL Licensed LZ0 packages [y/n]? 是否允许Ambari服务器下载和安装GPL许可的LZ0软件包？输入y Enter advanced database configuration [y/n]？ 是否输入高级数据库配置？输入y Enter choice(1): 输入选择，这里选择使用的数据库，选择3（mysql）。回车后，会要求输入一系列数据库的配置信息，如hostname、port等，这里除了密码需输入外，其余回车默认即可。 Enter full path to custom jdbc driver: 输入数据库驱动jar的全路径 Proceed with configuring remote database conection properties[y/n]? 是否继续配置远程数据库连接属性？输入y

        输出：

        6.9 在mysql中生成ambari元数据表

        使用ambari用户，登录mysql数据库，选择ambari数据库实例，并生成ambari元数据表。命令如下：

use ambari; source /var/lib/ambari-server/resource/Ambari-DDL-MySQL-CREATE.sql;

        输出如下：

        6.10 启动ambari-server

        在主节点，启动ambari-server，命令：

ambari-server start

        输出：

        6.11 停止ambari-server

        命令：

ambari-server stop

        输出：

 

        6.12 安装ambari-agent

        注意：安装ambari-agent之前，首先要停止ambari-server。

        在每一个节点上安装ambari-agent，命令：

yum install ambari-agent

        输出：

        6.13 编辑ambari-agent的配置文件

        修改ambari-agent的配置文件，将hostname改为主节点的主机名。命令：

vim /etc/ambari-agent/conf/ambari-agent.ini

        修改后：

 

        6.14 启动ambari（包括ambari-server、ambari-agent）

        在主节点启动ambari-server；在每一个节点上，启动ambari-agent，命令：

ambari-server start ambari-agent start

        输出：

        6.15 在浏览器上，打开ambari

        在浏览器中输入ambari的访问地址：http://192.168.0.169:8080/。

        默认用户密码：admin/admin。 如图：

7、安装hadoop集群

        登录ambari的web界面，在“Cluster Managerment”→“Cluster Information”菜单下，点击“LAUNCH INSTALL WIZARD”按钮，如图：

        在安装向导的“Get Started”步骤中，自定义填写集群名称，如图：

        在安装向导的“Select Version”步骤中，选择要安装的hadoop的版本、安装包和服务器系统等信息。

        这里提供了两个安装包的资源库，一个是“Use Public Repository”（使用公共资源库），一个“Use Local Repository”（使用本地资源库）。

        “Use Public Repository”即是指网络中的资源库，安装时，实时下载。但因为实时下载慢，且存在连接超时等问题，因为不推荐使用。

        “Use Local Repository”即是指事先下载好安装包，并放到本地构建本地资源库。

        如图：

8、中止Hadoop安装

        因为HDP的安装包无法获取，所以中止Hadoop安装。具体原因如下：

• 安装HDP所需的安装包下载缓慢或者无法下载。以下是2021年之前的HDP下载地址，经测试，HDP、HDP-UTILS下载速度很慢，只有十几kb，HDP-GPL无法获取资源

http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.0.1.0/HDP-3.0.1.0-centos7-rpm.tar.gz http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz  wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/3.x/updates/3.0.1.0/HDP-GPL-3.0.1.0-centos7-gpl.tar.gz

• 2021年之后，HDP开始收费。新的资源，需购买订阅后才能下载。

 

 

 大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客