一.安装前的准备
(前言:先使用ios镜像文件创建一个新的虚拟机,建议至少虚拟机配置5G,硬盘50GB,一个空的虚拟机可能会遇到vi编辑器上下左右出现ABCD乱码问题,vmtools工具未安装,虚拟机ip地址重启自动更改等问题,请大家耐心按照关键字自行百度解决)
1.下载相应安装包
所有依赖的安装包及下载地址可从下面的网址获取:
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.0.0/bk_ambari-installation/content/ambari_repositories.html
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.0.0/bk_ambari-installation/content/hdp_26_repositories.html
先确保按照目录下有以下文件:(6个)
ambari-2.6.0.0-ubuntu16.tar.gz
ambari.list
HDP-2.6.3.0-ubuntu16-deb.tar.gz
hdp.list
HDP-UTILS-1.1.0.21-ubuntu16.tar.gz
jdk-8u144-linux-x64.tar.gz
2.配置免密登入
命令-先安装SSH服务:sudo agt-get install openshh-server
重启SSH服务:sudo /etc/init.d/ssh restart
生成密钥:ssh-keygen -t rsa -P ‘ ’
公钥认证:ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名
SSH无密码登入验证:通过命令$ssh localhost,输入yes完成首次登入
3.集群配置
在集群每台主机上执行下面的步骤。先采用 su - 命令切换到 root 账户下。
(1)设置主机名
以 node1 为例(其他节点注意修改 node1 为对应名称),修改/etc/hostname 内容为:
sisi
修改/etc/hosts 内容为:
192.168.147.141 sisi.hadoop node1
注意:修改完后重启使配置生效。
重启后执行下面命令确认是否修改成功。
hostname >>显示 sisi
hostname -f >> 显示:sisi.hadoop
4.关闭防火墙
命令:ufw disable
5.关闭 THP( Transparent HugePages)
执行以下语句,避免安装出现警告。
echo never >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/defrag
6.安装配置JDK(详细步骤可百度)
JDK 解压在用户 Home 目录,并建立软链接。
在每台机器上运行以下命令:
tar zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local
ln -s /usr/local/jdk1.8.0_144 /usr/local/jdk
vi /etc/profile
配置环境变量,在文件/etc/profile 后面追加下面内容:
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
执行 source 语句使环境变量生效。
source /etc/profile
安装和开启 NTP 服务
apt-get install ntp
安装 python
apt-get install python
注意:安装jdk最好不只是配置conf文件,bashrc文件一定也要配置好,只有全局变量的jdk环境,在之后Ambari server start的时候才不会显示java什么什么错误提醒
最后验证是否安装成功命令:java-version 出现版本号等信息即为成功
7.固定虚拟机ip地址
具体可参考以下博客
https://blog.csdn.net/fan2273/article/details/78211495
(前言:我只创建了一个节点,本小节内的操作只在节点 1(sisi)执行,先采用 su - 命令切换到 root 账户下)
1.安装 Apache Http 服务
命令:apt-get install apache2
命令:mkdir /var/www/html/ambari
将 ambari-2.6.0.0-ubuntu16.tar.gz 和 HDP-2.6.3.0-ubuntu16-deb.tar.gz 解压到该目录:
命令:cp或者mv命令拷贝到目录下 tar -zxvf解压,或者解压命令直接-C 加上路径
将 HDP-UTILS-1.1.0.21-centos7.tar.gz 解压到/var/www/html/ambari/HDP-UTILS/
命令:先到此路径下创建HDP-UTILS目录 然后将文件mv拷贝过来再解压,或者解压命令直接-C 加上路径都可以。
3.配置 Ambari 本地源
在 node1 上 配置 ambari、HDP、HDP-UTILS 的本地源
修改 ambari.list 文件
#VERSION_NUMBER=2.6.0.0-267
deb http://192.168.147.141/ambari/ambari/ubuntu16/2.6.0.0-267 Ambari main
3.利用Ambari管理Hadoop集群。
修改 hdp.list 文件
#VERSION_NUMBER=2.6.3.0-235
deb http://192.168.147.141/ambari/HDP/ubuntu16/2.6.3.0-235 HDP main
deb http://192.168.147.141/ambari/HDP-UTILS HDP-UTILS main
将 ambari.repo 和 hdp.repo 拷贝到/etc/yum.repos.d/目录下
命令:cp hdp.list /etc/apt/sources.list.d
cp ambari.list /etc/apt/sources.list.d
导入 key:
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update
安装命令:apt-get install mariadb-server
安装后默认已经启动。
vi /etc/mysql/mariadb.conf.d/50-server.cnf
将 bind-address 这行注释掉
#bind-address = 127.0.0.1
重启 mariadb
执行:systemctl restart mysql
登录数据库:mysql -uroot (需要获得操作系统管理员权限,才能登录 MariaDB的 root 用户,密码是空)
安装完成后创建 ambari 数据库及用户:
create database ambari default charset utf8 COLLATE utf8_general_ci ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Password_1';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
(2)安装 mysql jdbc 驱动
命令:apt-get install libmysql-java
(3)安装 Ambari服务
命令:apt-get install ambari-server
(4)配置 Ambari Server:
命令:ambari-server setup
按照括号内的提示按自己的需求输入信息即可
如果此时显示如下图则安装成功:
(5)将 Ambari 数据库脚本导入到数据库
mysql -uambari -pPassword_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
(6)启动 Ambari Server
命令:ambari-server start
(注意:如果此时出现Java之类那条错误,一般是没有配置全局环境jdk;可以去bashrc哪里配置好后source一下;如果是出现8080端口监听问题可以这样解决)
Ambari-server出现此问题的原因是因为启动时间设置得太短了,我们编辑/etc/ambari-server/conf/ambari.properties添加以下信息即可:
Server.startup.web.timeout=120
之后我第二次遇到了这个问题,但是我已经添加了启动时间,之后我更改了
/etc/ambari-server/conf/ambari.properties的内容
server.jdbc.rca.url=jdbc:postgresql://master:5432/ambari
server.jdbc.url=jdbc:postgresql://master:5432/ambari
把master全部改为localhost之后即可以了。
7)访问 Ambari Server 的 Web Console,用游览器输入地址
http://[node1 的 IP]:8080
出现登录界面,默认管理员账户登录, 账户:admin 密码:admin
**
**
1.设置集群名称 Get Started :此处随意给出自己的集群名称
2.设置 HDP 安装源:
http://192.168.147.141/ambari/HDP/ubuntu16/2.6.3.0-235
http://192.168.147.141/ambari/HDP-UTILS
3.主机信息确认:私钥文件内容拷贝主机/.ssh/id_rsa文件的内容
利用cat命令查看/.ssh/id_rsa文件内的内容然后复制信息到host registration information信息框内:(安装host第四步的时候可能会提示ambari-agen服务器报错:failed to start ping port listener。解决办法在最后。)
4.选择安装的服务
先只选择HDFS和YARN+MapReduce2 (下一步next之后它会选强制选择部分服务的,不要慌)
接下的都是显示一些节点的配置信息,一直往下next就好
注意:安装host第四步的时候可能会提示ambari-agen服务器报错:failed to start ping port listener
解决办法 编辑vi /etc/ambari-agent/conf/ambari-agent.ini文件
加入此内容:
force_https_protocol=PROTOCOL_TLSv1_2