Amabri离线安装

Amabri离线安装文档

（离线在于，ambari的下载文件已经下载好）

前置条件

1、 JDK 1.7+

2、 python 2.6 /2.7 CentOS 自带2.7

3、 mysql (详见脚本 installmysql.sh)

3.1执行脚本前需要 dos2unix 脚本（ dos2unix installmysql.sh ）

4、 准备3+台主机 安装好JDK,配好环境变量。（最少需要3台主机）

5、 master 对所有主机进行免密

5.1：需要对100自己做免密  （master节点操作）

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

3.2：master与salver做免密

   将master上的公钥发送到salver上

scp id_dsa.pubroot@keduox2:/tmp/  

 ( 再master节点的 .ssh文件夹下找到id_dsa.pub ）

   在101上将公钥放在指定位置，但是默认情况下是没有.ssh文件，需要先生成.ssh文件。（slaves节点操作）

ssh-keygen-t dsa -P '' -f ~/.ssh/id_dsa

    cat/tmp/id_dsa.pub >> ~/.ssh/authorized_keys

 

注：本文档针对以下版本,不同版本直接有些许调整

 

1、时间同步（略）可以以后再补

映射主机地址  （所有主机都需要操作）

vi /etc/hosts

192.168.200.120 master

192.168.200.121 slaves

192.168.200.122 slaves

……

       scp分发到其他节点上

2、关闭防火墙

systemctl disable firewalld

systemctl stop firewalld 

 

3、制作本地源

 

3.1安装 ApacheHTTP 服务器
安装HTTP 服务器，允许 http 服务通过防火墙(永久)。

yum install -y httpd

firewall-cmd --add-service=http

firewall-cmd --permanent --add-service=http

添加Apache 服务到系统层使其随系统自动启动。

systemctl start httpd.service

systemctl enable httpd.service

 

 

3.2 安装本地源制作相关工具

yum install -y yum-utilscreaterepo

 

3.3下载安装资源
　　下载 Ambari2.4.2 , HDP 2.5.3 的安装资源,本次安装是在Centos7 上，只列出centos7的资源，其他系统的请现在对用系统的资源。

（需要下载标红的两个文件，其余的三个文件已经下载好了在文件夹中查看，如果需要其他版本也最好先下载好再使用，因为在ambari在线下载很慢，并容易失败）

yum install -ywget

Ambari 2.4.2 下载资源：

wgethttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz     （已手动下载）

HDP 2.5.3 下载资源：

wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/hdp.repo

wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz             （已手动下载）

wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz（已手动下载）

 

3.4在httpd网站根目录,默认是即/var/www/html/，创建目录ambari，

并且将ambari-2.4.2.0、HDP-2.5.3.0、HDP-UTILS的压缩包解压到/var/www/html/ambari目录。

cd /var/www/html/

mkdir ambari

cd ambari/

tar -zxvf ambari-2.4.2.0-centos7.tar.gz.tar -C /var/www/html/ambari/

tar -zxvf HDP-2.5.3.0-centos7-rpm.tar.gz.tar -C /var/www/html/ambari/

tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambari/

　验证http网站是否可用，可以使用links命令或者浏览器直接访问下面的地址：

yum install -y links

或也可以在其他主机上用浏览器打开

http://192.168.200.120/ambari/

 

3.5配置ambari、HDP、HDP-UTILS的本地源
　　首先下载上面资源列表中的相应repo文件，修改其中的URL为本地的地址，相关配置如下：

 

vi ambari.repo

#VERSION_NUMBER=2.4.2.0-136   [Updates-ambari-2.4.2.0] name=ambari-2.4.2.0 - Updates baseurl=http:// 192.168.200.51/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/ gpgcheck=1 gpgkey=http://192.168.200.51/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1

 

vi hdp.repo

#VERSION_NUMBER=2.5.3.0-37 [HDP-2.5.3.0] name=HDP Version - HDP-2.5.3.0 baseurl=http://192.168.200.51/ambari/HDP/centos7 #如果提升xml没找到 说明版本不对 #手动找到xml文件把路径配置到上面 gpgcheck=1 gpgkey=http://192.168.200.51/ambari/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1     [HDP-UTILS-1.1.0.20] name=HDP-UTILS Version - HDP-UTILS-1.1.0.20 baseurl=http://192.168.200.51/ambari/HDP-UTILS-1.1.0.20/repos/centos7/ gpgcheck=1 gpgkey=http://192.168.200.51/ambari/HDP-UTILS-1.1.0.20/repos/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1

 

　将上面的修改过的源放到/etc/yum.repos.d/下面。

mv ambari.repo /etc/yum.repos.d/

mv hdp.repo /etc/yum.repos.d/

 

　　然后更新yum。

 yum clean all

 yum list update

 yum makecache

 yum repolist

 

 

4、安装mysql （略）

脚本安装，在文件夹中有安装文件和执行脚本。

执行脚本前需要 dos2unix 脚本（ dos2unix installmysql.sh ），此步骤的意义在余window系统与linux系统的文本存在不同，需要通过dos2unix 命令来进行转换。

4.1

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：（红色秘密可以自己改）

create database ambari character set utf8 ; 

CREATE USER 'ambari'@'%'IDENTIFIED BY '1234';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

FLUSH PRIVILEGES;

　　如果要安装Hive，再创建Hive数据库和用户再执行下面的语句：

create database hive character set utf8 ; 

CREATE USER 'hive'@'%'IDENTIFIED BY '1234';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

FLUSH PRIVILEGES;

　　如果要安装Oozie，再创建Oozie数据库和用户再执行下面的语句：

create database oozie character set utf8 ;  

CREATE USER 'oozie'@'%'IDENTIFIED BY '1234';

GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';

FLUSH PRIVILEGES;

　　安装mysqljdbc 驱动：

yum install -y mysql-connector-java

 

5.进行安装Ambari
5.1 安装Ambari2.4.2
5.1.1安装Ambari

yum install -y ambari-server

（如果提示找不到KEY，则执行如下命令：rpm --import/var/www/html/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins）

5.1.2配置Ambari

ambari-serversetup

　　下面是配置执行流程，按照提示操作：
1.检查SELinux是否关闭，如果关闭不用操作。（我配置时没操作）

Using python  /usr/bin/python

Setupambari-server

CheckingSELinux...

SELinux status is'disabled'

2.提示是否自定义设置。输入：y。

Customize useraccount for ambari-server daemon [y/n] (n)? y

3.ambari-server 账号。默认是root  也可以输入：ambari(需要另外创建)。

Enter user accountfor ambari-server daemon (root):ambary

Adjustingambari-server permissions and ownership...

4.检查防火墙，如果关闭则不用操作。

Checking firewallstatus...

Redirecting to/bin/systemctl status  iptables.service

 

　　5.设置JDK。输入：3。

Checking JDK...Doyou want to change Oracle JDK [y/n] (n)? y

[1] Oracle JDK 1.8+ Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK 1.7+ Java Cryptography Extension (JCE) Policy Files 7 [3] Custom JDK

==============================================================================

Enter choice (1):3

 

6.如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：

/opt/jdk1.8.0_144  (填上你的$JAVA_HOME)

 

WARNING: JDK mustbe installed on all hosts and JAVA_HOME must be valid on all hosts.WARNING: JCEPolicy files are required for configuring Kerberos security. If you planto use Kerberos,please make sure JCE Unlimited Strength Jurisdiction PolicyFiles are valid on all hosts.Path to JAVA_HOME:/opt/java/jdk1.8.0_121Validating JDK on Ambari Server...done.Completingsetup...

7.数据库配置。选择：y。

Configuringdatabase...Enter advanced database configuration [y/n] (n)? y

8.选择数据库类型。输入：3。

 

 Configuring database...==============================================================================

Choose one of thefollowing options:

[1] - PostgreSQL(Embedded)

[2] - Oracle

[3] - MySQL

[4] - PostgreSQL

[5] - MicrosoftSQL Server (Tech Preview)

[6] - SQL Anywhere==============================================================================

Enter choice (3):3

 

9.设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。

Hostname(localhost):

Port ():

Database name(ambari):

Username (ambari):

Enter DatabasePassword (1234):

10.提示必须安装MySQL JDBC，回车结束ambari配置。

1 WARNING: Before starting Ambari Server, youmust copy the MySQL JDBC driver JAR file to /usr/share/java.

Press to continue.

11.将Ambari数据库脚本导入到数据库。
　　如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本。用Ambari用户（上面设置的用户）登录mysql

mysql -uambari -p1234

use ambari

source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

 

 

5.1.3启动Amabri。
　　执行启动命令，启动Ambari服务：

ambari-server start

　　成功启动后在浏览器输入Ambari地址：

http://master:8080/

出现登录界面，默认管理员账户登录，账户：admin 密码：admin。

 

6 开始搭建集群

6.11添加集群

选择Launch Install Wizard

6.12 给集群起名

 

6.1.3 选择HDP版本 本文档用的是2.5.3

 

 

CentOS7对应 rehat7版本

填入

本地源配置的 HDP 地址

下一步

6.1.4 集群主机配置

上面填集群 主机名

下面填入master的免密私钥

 

等待完成……..

 

完成状态后  可以点击下一步

 

6.1.5 选择安装组件  勾选

hdfs mr zk 等等

 

6.1.6 分配各节点

       自己组合

 

下一步下一步 按默认配置

等待完成

完美状态:全部都是绿

不完美状态:有警告,可以先下一步后再进行处理

 

对红色状态组件进行单独启动,

 

最终结果  全绿

 

7、添加新主机进入集群

 

7.1.1与创建集群时一样 填入主机名 和免密私钥

 完成后    下一步

7.1.2 勾选组建 下一步 下一步

 

7.1.3 等待安装完成

 

查看