Ambari环境配置

Ambari环境配置
（2016-08-30）
1.安装环境说明
安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.13
2.操作系统环境准备
2.1 配置SSH免密码登录
主节点里root用户登录执行如下步骤:
ssh-keygen
cd ~/.ssh/
cat id_rsa.pub >>authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
先在从节点登录root执行命令:
mkdir ~/.ssh/
分发主节点里配置好的authorized_keys到各从节点:
scp /root/.ssh/authorized_keys [email protected].:/root/.ssh/authorized_keys
2.2 创建ambari系统用户和用户组
只在主节点操作
添加ambari安装、运行用户和用户组，也可以不创建新用户，直接使用root或者系统其他账号
adduser ambari
passwd ambari
2.3 开启NTP服务
所有集群上节点都需要操作
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
2.4 检查DNS和NSCD
所有节点都要设置:
ambari在安装时需要配置全域名，所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)
vi /etc/hosts
192.168.62.181 master1 master1.hd
192.168.62.182 master1 master1.hd
192.168.62.183 master1 master1.hd
192.168.62.183 master1 master1.hd
每台节点里配置FQDN，如下以主节点为例
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=SY-001.hadoop
2.5 关闭防火墙
所有节点都要设置
Centos 7 命令
systemctl disable firewalld
systemctl stop firewalld
2.6 关闭SELinux
所有节点都要设置
查看SELinux状态：
sestatus
如果SELinux status参数为enabled即为开启状态
SELinux status: enabled
临时关闭，不用重启机器：
setenforce 0
修改配置文件需要重启机器：
vi /etc/sysconfig/selinux
SELINUX=disabled
3.制作本地源
制作本地源只需在主节点上进行即可
3.1 相关准备工作
3.1.1安装 Apache HTTP 服务器
安装HTTP 服务器，允许 http 服务通过防火墙(永久)
yum install httpd
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
添加 Apache 服务到系统层使其随系统自动启动
systemctl start httpd.service
systemctl enable httpd.service
3.1.2 安装本地源制作相关工具
yum install yum-utils createrepo
3.2 下载安装资源
Ambari 2.2.2 下载资源:

OS Format URL
CentOS 7 Base URL http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0

CentOS 7 Repo File http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo

CentOS 7 Tarball md5 asc http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz

下载上面列表的中的压缩包，
需要下载的压缩包如下：
Ambari 2.2.2
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz
HDP 2.4.2
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz
HDP-UTILS 1.1.0
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
在httpd网站根目录,默认是即/var/www/html/，创建目录ambari， 并且将下载的压缩包解压到/var/www/html/ambari目录:
cd /var/www/html/
mkdir ambari
cd /var/www/html/ambari/
tar -zxvf ambari-2.2.2.0-centos7.tar.gz
tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
3.3 配置ambari、HDP、HDP-UTILS的本地源
首先下载上面资源列表中的相应repo文件，修改其中的URL为本地的地址，相关配置如下:
ambari.repo:
#VERSION_NUMBER=2.2.2.0-460
[Updates-ambari-2.2.2.0]
name=ambari-2.2.2.0 - Updates
baseurl=http://172.31.83.171/ambari/AMBARI-2.2.2.0/centos7/2.2.2.0-460
gpgcheck=1
gpgkey=http://172.31.83.171/ambari/AMBARI-2.2.2.0/centos7/2.2.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp.repo:

VERSION_NUMBER=2.4.2.0-258

[HDP-2.4.2.0]
name=HDP Version - HDP-2.4.2.0
baseurl=http://172.31.83.171/ambari/HDP/centos7/2.x/updates/2.4.2.0
gpgcheck=1
gpgkey=http://172.31.83.171/ambari/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.20]
name=HDP Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://172.31.83.171/ambari/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=1
gpgkey=http://172.31.83.171/ambari/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
将上面的修改过的源放到/etc/yum.repos.d/下面:
yum clean all
yum list update
yum makecache
yum repolist
3.4 安装Mysql数据库(省略)
安装完成后创建ambari数据库及用户，登录root用户执行下面语句：
create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON . TO 'ambari'@'%';
FLUSH PRIVILEGES;
Hive数据库和用户 再执行下面的语句：
create database hive character set utf8 ;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON . TO 'hive'@'%';
FLUSH PRIVILEGES;
安装mysql jdbc 驱动：
yum install mysql-connector-java
3.5 安装JDK
安装解压版JDK，先到官网下载jdk-8u91-linux-x64.tar.gz ，再执行下面命令：
tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/java/
vim /etc/profile
export JAVA_HOME=/opt/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source /etc/profile
4.进行安装Ambari
4.1 安装Ambari2.2.2
4.1.1安装Ambari
yum install ambari-server
4.1.2配置Ambari（省略）
ambari-server setup
配置完Ambari后，用Ambari用户（上面设置的用户）登录mysql mysql -u ambari -p use ambari source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.1.3启动Amabri
后续就是集群环境的具体配置（后续补充）

附录
Centos 7.2 安装 Mysql 5.7.13

1. 下载mysql的repo源
   wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
2. 安装mysql57-community-release-el7-8.noarch.rpm包
   rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps –force
   3.安装mysql
   yum install mysql-server
3. 启动mysql服务
   查看MySQL服务是否已启动
   service mysqld status
   启动服务
   systemctl start mysqld
4. 重置root密码
   MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。
   可以安全模式修改root登录密码或者用随机密码登录修改密码。下面用随机密码方式
   MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：
   grep 'temporary password' /var/log/mysqld.log
   修改root用户密码：(MySQL的密码策略比较复杂，过于简单的密码会被拒绝)
   mysql -u root -p
   mysql> Enter password: （输入刚才查询到的随机密码）
   mysql> SET PASSWORD FOR 'root'@'localhost'= "Root-123";
   mysql> exit
   用root新密码登录：mysql -u root –p
5. 开放3306端口
   允许使用用户名root密码Root-123456从任何主机连接到mysql服务器
   mysql>GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'Root-123456' WITH GRANT OPTION;
   mysql>FLUSH PRIVILEGES;
   mysql>exit;