centos7安装ambari(亲自安装流程)

环境:centos7与centos6一样只是centos6与7有一些命令不一样,在centos6上安装请注意更换命令
刚安装完的centos7,所以我这上面缺少一些功能,后续会在使用中下载
先下载文件,很大
提前下载
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari.repo

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo

http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo

**
有问题联系QQ:1551918572

因为是从安装文档上复制下来的,使用命令的时候请注意空格与-和–等等

**

1. 配置静态IP、DNS

如果ifconfig不能使用
修改 /etc/sysconfig/network-scripts/ifcfg-en33
onboot=no
网卡重启：systemctl restart network
这样就可以上网了

下载ifconfig
yum -y install net-tools vim
ifconfig就能使用了
配置静态IP、DNS
提示:使用ifconfig查看ip,使用软件连接机器更好配置,复制粘贴,但是要注意不要全部粘贴,根据自己情况,该修改的修改,否则你会很痛苦
[root@ambari-1 ~]# cd /etc/sysconfig/network-scripts
[root@ambari-1 network-scripts]# vim ifcfg-enp0s31f （显卡名字不一样“ls”查看下再编辑）

修改网卡:
DEVICE=enp3s0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none #设置静态ip
IPADDR=192.168.31.200 #设置ip
PREFIX=24 #设置子网掩码
GATEWAY=192.168.31.1 #设置网管
DNS1=8.8.8.8 #设置dns
DNS2=114.114.114.114 #设置备用dns
UUID=084efae1-d3a9-45f5-bd0d-f2127d07bef8 #物理地址
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=enp3s0

配置完静态IP后重启网络服务
systemctl restart network.service
ping www.baidu.com验证是否可以访问外网，能ping通百度说明配置完成。
修改/etc/sysconfig/network（所有机器）
[root@master ~]# vi /etc/sysconfig/network
#Created by anaconda
NETWORKING=yes

2 配置hostname

2.1 配置hostname
vi /etc/hostname
ambari-1

注意:要更改序号ambari-2
2.2 配置hosts文件
[root@ambari-1 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.9.63 ambari-3
192.168.9.61 ambari-1
192.168.9.62 ambari-2

hostname和hosts改完之后，统一把所有机器重启一遍！让配置生效！

3. 关闭防火墙与SElinux

3.1 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
查看状态
firewall-cmd --state
3.2. 关闭Selinux
vi /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效

4. SSH无密码登陆(也可以去找下其他的免密方法)

在Ambari Server节点执行如下命令：
先在所有节点执行以下命令
ssh-keygen -t rsa （回车后再按连续三个回车）

在ambari-1进行
cd .ssh/
cat id_rsa.pub >> authorized_keys
然后将authorized_keys拷贝到其他6台机器的.ssh目录，如下：
scp authorized_keys ambari-2:/root/.ssh/
在ambari-2节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-3:/root/.ssh/
在ambari-3节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-4:/root/.ssh/
在ambari-4节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-5:/root/.ssh/
在ambari-5节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-6:/root/.ssh/
……….
以此类推到最后一个
将最后一个的authorized_keys发送给其他节点
想做全部免密就在其他几台重复上步操作
验证:
ssh ambari-1 date; ssh ambari-2 date; ssh ambari-3 date;ssh ambari-4 date;ssh ambari-5 date;ssh ambari-6 date; ssh ambari-7 date; ssh ambari-8;date; ssh ambari-9 date;

**

5.修改YUM源

**
下载wget:
yum -y install wget
改用阿里云镜像站点

1. 备份本地yum源
   mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak
   2.获取阿里yum源配置文件
   wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

yum makecache
ps：这个可以自己找一些其他的YUM源ps：这个可以自己找一些其他的YUM源
**

6.JDK1.8

**
注意:即使是jdk1.8,版本太低了也不能使用,都是血泪,要用高版本的jdk1.8
6台机器创建文件夹
mkdir -p /opt/java/

将安装包传到一台机器的/opt/java/下
cd /opt/java
将安装包分发到其他机器 (用下面语句必须进入/opt/java)
for a in 2 3 4 5 6; do scp -r jdk-8u212-linux-x64.tar.gz root@ambari-${a}:pwd; done

解压
tar -vxf jdk-8u212-linux-x64.tar.gz

修改环境环境变量

vim /etc/profile

最先面添加下面内容(jdk1.8.0_212替换为为你自己解压的java文件夹)
export JAVA_HOME=/opt/java/jdk1.8.0_73
export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

source /etc/profile #这样环境变量能马上生效
验证:
java -version

查看/usr/bin下面有没有java ,javac 没有就链接过去
ln -s $JAVA_HOME/bin/java /usr/bin/java
ln -s $JAVA_HOME/bin/javac /usr/bin/javac

**

7.NTP时间同步

**
以ambari-1为ntp校准服务器:
下载ntp
yum -y install ntp
依次输入以下命令
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

[root@ambari-1 ~]# vi /etc/ntp.conf
restrict 127.0.0.1
restrict ::1
#Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 192.168.10.0 mask 255.255.240.0 nomodify notrap //允许的网络字段连接ip限制
server 127.127.1.0 //以本机时间为准
fudge 127.127.1.0 stratum 10
#server 0.centos.pool.ntp.org iburst //全部注释掉
#server 3.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst

其他节点ambari-2, ambari-3, ambari-4…….配置如下

[root@ambari-2 ~]# vim /etc/ntp.conf
server ambari-1 //指定ntp 服务器,为ambari-1
#server 0.centos.pool.ntp.org iburst //全部注释掉
#server 1.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst

在所有节点启动ntp服务；
systemctl start ntpd.service
检查是否成功用“ntpstat”命令查看同步状态，出现以下状态代表启动成功
[root@ambari-1 ~]# ntpstat
synchronised to NTP server (192.168.9.1) at stratum 3
time correct to within 47 ms
polling server every 1024 s

ps：请求服务器前，请先使用ntpdate手动同步一下时间：ntpdate -umaster (主节点ntp服务器)这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：
systemctl start ntpd.service

**

6.安装HTTP服务器（后期要用的）

**
这个操作比较简单，主要作用在为后期安装ambari制作本地源时候用的。
安装：yum install httpd -y
启动：systemctl start httpd.service
开机启动:systemctl enable httpd.service
修改网站默认的根目录（一般都是默认var/www/html 所以不用改）

**

7.安装mysql

**
我们先把下载的mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar 上传到我们的centos系统中，最好传到/opt 文件夹中
然后我们建立一个新的，用于盛放tar文件释放后文件的文件夹：
cd /opt
for a in 8 9 ; do scp -r mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar root@ambari-${a}:pwd; done

mkdir mysql
然后运行解压命令：
tar -xf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar -C mysql
cd mysql
由于CentOs7之后会在系统中自带一个免费的数据库：mariadb，并且它的驱动和mysql的驱动是有冲突的，所以我们必须先要卸载他。（ps.mariadb和mysql是同一个作者创作的数据库，由于权益等其他问题才分开的，所以有兴趣的同志可以研究一下。）

首先用rpm命令查看一下是否有mariadb，然后再删除：
rpm -qa | grep -i mariadb
可能会出现这种情况：
[root@ambari-1 ~]# rpm -qa | grep -i mariadb
mariadb-libs-5.5.60-1.el7_5.x86_64
然后我们用rpm命令删除这个版本的mariadb：
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64

这个名字在不同版本的系统上可能不一样，需要注意。
由于mysql的server端需要perl语言的支持，因此我们还需要在系统中安装perl支持：
yum install perl -y
由于我们上面解压出来的几个rpm包有依赖关系，所以我们需要按照顺序执行安装：
rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm

这几个包的安装完成之后，我们的数据库也就安装完成了，有几个需要注意的地方：

数据库目录：/var/lib/mysql/
命令配置：/usr/share/mysql (mysql.server命令及配置文件)
相关命令：/usr/bin (mysqladmin mysqldump等命令)
启动脚本：/etc/rc.d/init.d/ (启动脚本文件mysql的目录)
系统配置：/etc/my.conf

安装完成了，我们需要先把mysql运行起来，这样我们才能进行接下来的配置。

ps.强烈建议在root用户环境下进行初始化配置，方便用户和密码的创建。

    现在我们可以先看一下 /var/lib/mysql/  目录下是否有东西，我们可以发现这个目录下是没有东西的，或者是连mysql这个目录都没有，也就是说数据库还没有初始化。

注意：

 这里我跳过了初始化root用户，或者是mysql用户的步骤，因为网上看在5.7.12上可以成功的步骤在5.7.23上却会在启动步骤报错，原因未知。

     现在我们来配置mysql的启动，个人比较推荐使用服务的方式启动（centos7特有）：

systemctl start mysqld.service

这样就把mysqld这个服务添加到系统中了
我们在启动了mysql之后，这个时候等待一段时间，数据库需要进行初始化，这个时候我们可以看一下数据库的日志，会发现mysql帮我们初始化了一个root用户：
cat /var/log/mysqld.log

mysql -u root -p

password 输入自己获得的密码(图片中localhost:后边的位置)
注意:复制密码的时候更不要复制空格
修改密码：
set password = password(‘qzwl23456’);

注:可能会报下面错误

mysql> set password = password(‘qzwl123456’);
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

那就输入以命令
mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)
这样就可以了,密码设置123456不行,就加了几位

设置外部远程访问权限：注:123456是你的密码,别照抄
by后面仔细查看,不要多空格,远程会登录不上的
mysql> grant all privileges on . to ‘root’ @’%’ identified by ‘qzwl123456’;
mysql> flush privileges;
设置开机启动
systemctl enable mysqld.service

**

安装mysql jdbc

**
自己直接下载个jar包也可以，这样来回移动着方便
mkdir /usr/share/java
直接下载的mysql-connector-java-5.1.40.jar包，放在/usr/share/java 下面

**

8搭建数据库

**
不想安装mysql也可以选择MariaDB数据库，基本和mysql差不多。
安装完成后创建ambari数据库及用户，登录root用户执行下面语句：
USER 后是用户名IDENTIFIED BY后面是用户登录密码可自己修改
登陆mysql 然后创建如下数据库（）

create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：

create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：

create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

如果要安装hue，再创建hue数据库和用户 再执行下面的语句：

create database hue character set utf8 ;
CREATE USER 'hue'@'%'IDENTIFIED BY 'Hue-1234';
GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%';
FLUSH PRIVILEGES;

**

9制作本地源 (在ambari-1部署)

**
（1）下载 Ambari HDP、HDP-UTILS、 HDP-GPL源包（文件很大，需要很长下载时间，请耐心等待。。。）建议直接通过迅雷下载好再上传到服务器。(上边已经开始下载了)
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari.repo

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo

http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo

（2）安装本地源相关工具

将下载好的源上传到 的 /var/www/html 目录下，因为文件比较多，我自己在html下新建了一个ambari文件夹，把四个文件放在ambari下面，结构如下：

还记得我们之前安装的HTTP服务器了么，这时候在浏览器输入：http://192.168.31.200/ambari/ ，便可以看见刚刚我们上传的文件

接下来，我们安装制作本地源工具

yum install yum-utils createrepo yum-plugin-priorities -y
createrepo  ./

3）配置ambari、HDP、HDP-UTILS的本地源
首先下载上面资源列表中的相应repo文件（地址在上面），修改其中的URL为本地的地址，相关配置如下：
cd /etc/yum.repos.d/ 将我们下载的.repo文件放到这下面

其中 baseurl路径与gpgkey需要根据自己的实际解压路径来，否则makecache不能成功
baseurl最后端都要加/,否则后面会报错
vi ambari.repo

#VERSION_NUMBER=2.6.2.2-1
[ambari-2.6.2.2]
name=ambari-2.6.2.2-1
baseurl=http://192.168.31.200/ambari/ambari/centos7/2.6.2.2-1/
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/ambari/centos7/2.6.2.2-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

保存并退出

vi hdp.repo

#VERSION_NUMBER=2.6.5.0-292
[HDP-2.6.5.0]
name=HDP-2.6.5.0
baseurl=http://192.168.31.200/ambari/HDP/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22/
baseurl=http://192.168.31.200/ambari/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

保存并退出
vim hdp.gpl.repo

#VERSION_NUMBER=2.6.5.0-292
[HDP-GPL-2.6.5.0]
name=HDP-GPL Version - HDP-GPL-2.6.5.0
baseurl=http://192.168.31.200/ambari/HDP-GPL/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

保存并退出
将这三个文件发送到其他节点,否则以后会报错
紧接着制作源：
yum clean all
yum makecache
yum repolist
**

10安装Ambari (ambari-1)

**
安装Ambari
yum install ambari-server -y
配置Ambari
ambari-server setup
下面是配置执行流程，按照提示操作
（1） 提示是否自定义设置。输入：y

（2）ambari-server 账号。输入：ambari

（3）设置JDK。输入：3

（4）如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：/opt/java/jdk1.8.0_73 （看自己安装的位置）

（5）数据库配置。选择：y


（6）选择数据库类型。输入：3

如果报错：

  WARN [com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread-#0] StatementUtils:48 - Statement close FAILED.
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘OPTION SQL_SELECT_LIMIT=DEFAULT‘ at line 1

原因：Ambari默认的 mysql jdbc 驱动不支持 5.6以上版本
解决方法：设置mysql jdbc驱动
ps：这时候可能会提示你需要你设置下mysql的一个jar包。 还记得我们之前在 /usr/share/java的那个java包么？
另起一个窗口，输入：
ln -s mysql-connector-java-5.1.40-bin.jar mysql-connector-java.jar #如果jar包名字已经是mysql-connector-java.jar 可省略此步

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
（7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。Ambari-123

（8）将Ambari数据库脚本导入到数据库
如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本
另开一个窗口：
用Ambari用户（上面设置的用户）登录mysql
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
（9）启动Amabri
ambari-server start
可能会报错

还记得我们之前在 /usr/share/java的那个java包么？
cd /usr/share/java
mv mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
vi /etc/ambari-server/conf/ambari.properties

添加server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

再次启动
ambari-server start
成功启动后在浏览器输入Ambari地址：http://192.168.9.61:8080

**

11、使用Ambari界面安装Hadoop、Hbase、Log Search服务

**

1.出现登录界面，默认管理员账户登录， 账户：admin 密码：admin

2.登录成功后出现下面的界面，至此Ambari的安装成功

3、安装安装HDP 2.5.3 配置集群（点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置）
设置集群名称

4、置HDP安装源（选择HDP2.5 ,并且设置Advanced Repository Options 的信息，本次使用本地源，所以修改对用系统的安装源为本地源地址）

5、设置集群机器（下载ambari01.hadoop机器上的id_rsa私钥到本地）主节点钥匙

点击register后报错
vi /var/log/ambari-agent/ ambari-agent.log

是python版本过高引起的ssl错误,降低python版本
解决方法：1.将机器自带的python版本降低于2.7.5
2.使用如下命令，在ambari-agent.ini的security底下添加和在.cfg的https底下添加（针对所有节点）
vi /etc/ambari-agent/conf/ambari-agent.ini
[security]
force_https_protocol=PROTOCOL_TLSv1_2
vi /etc/python/cert-verification.cfg
[https]
verify=disable

问题解决

6、Host确认（确认前面配置集群中hosts列表 中的机器是否都可用，也可以移除相关机器，集群中机器Success后进行下一步操作）

如果这里出了问题，请检查上面所有的步骤有没有遗漏和未设置的参数。同时在重新修改了配置以后，最好是重置ambari-server来重新进行安装

[root@master ~]# # ambari-server stop
[root@master ~]# # ambari-server reset #重置命令
[root@master ~]# # ambari-server setup #重新设置
[root@master ~]# # ambari-server start

7、选择要安装的服务

8、各个服务Master配置


9、服务的Slaves 和 Clients节配置

10、服务的客制化配置

注意,我们之前已经创建过数据库了
但是点击测试的时候显示没有jdbc
运行下面语句,路径根据实际路径配置
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

oozie也一样

11、显示配置信息

12、开始安装（安装各个服务，并且完成安装后会启动相关服务，安装过程比较长，如果中途出现错误，请根据具体提示或者log进行操作）

**

一定要解决所有报警和警告

**