使用CentOs7（VirtualBox）搭建集群安装程序（jdk、hadoop、mysql、hive、hbase）
一、虚拟机准备
cd /etc/sysconfig/network-scripts/
修改文件：vim ifcfg-enp0s3
ONBOOTS=YES
重启 init 0
yum -y install net-tools
拷贝并修改静态IP 、name、
cp ifcfg-enp0s3 ifcfg-enp0s8
添加网卡2（host-only）
修改主机名
hostnamectl set-hostname node1
关闭防火墙
#第一步： 停止firewall
systemctl stop firewalld.service
#第二步：禁止firewall开机启动
systemctl disable firewalld.service
#第三步：查看防火墙状态
systemctl status firewalld.servic
（systemctl status firewalld）
安装vim插件
yum -y install vim
修改hosts文件 vim /etc/hosts
192.168.56.111 node1
192.168.56.112 node2
192.168.56.113 node3
192.168.56.114 node4
修改网络服务主机名 vim /etc/sysconfig/network
HOSTNAME=node1
二、集群环境搭建
1、ping www.baidu.com
2、Ping 主机名（ping通各个主机名）
4、vi /etc/selinux/config
修改第七行：
SELINUX=disabled
（不配软件运行不了）
3、关防火墙、
4、ssh免密登录
官网：(hadoop.apache.org -> release 3.2.1 -> single node setup)
四台同步以下输入命令：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
测试：
ssh localhost (退出 ctrl+d)
将四台~/.ssh/authorized_keys里的密钥整合到一个文件中去，同步四台。
三、搭建集群高可用
1、创建存放数据位置
[root@node01 /]# mkdir data
2、安装jdk
拉包rpm包
进入目录 yum -y install jdk-8u221-linux-x64.rpm
3、查找jdk目录
[root@node01 ~]# whereis javac
[root@node01 ~]# ll /usr/bin/javac -h
[root@node01 ~]# ll -h /etc/alternatives/javac
[root@node01 ~]# ll -h /usr/java/jdk1.8.0_221-amd64
4、拉包zookeeper
解压、删除docs
[root@node03 zookeeper-3.5.6]# cd conf/
[root@node03 conf]# mv zoo_sample.cfg zoo.cfg
[root@node03 conf]# vim zoo.cfg
dataDir=/data/zookeeper/data（没有data要mkdir）
最后添加myid映射
5、配Hadoop
拉包、解压
hadoop-env.sh:
配置
各个节点启动
[root@node03 hadoop-3.2.1]# sbin/hadoop-daemon.sh start journalnode
在node1上启动格式化namenode
bin/hdfs namenode -format
在node1上启动namenode
bin/hdfs --daemon start namenode
在node2上启动namenode standby
bin/hdfs namenode -bootstrapStandby
在node2上启动namenode
[root@node02 hadoop-3.2.1]# bin/hdfs --daemon start namenode
任意节点重新初始化zkfc
[root@node01 hadoop-3.2.1]# bin/hdfs zkfc -formatZK
Jps
Node1停止所有
[root@node01 hadoop-3.2.1]# sbin/stop-all.sh
再启动所有
[root@node01 hadoop-3.2.1]# sbin/start-all.sh
异常问题：
fuser问题
在zookeeper 下 yum -y install fuser
hadoop高可用切换不成功
Yum install psmisc
四、Mysql
查看MySQL
yum search mysql
查看MySQL版本
yum install mysql 查看版本，暂停，不能继续安装
解压包
tar -xvf mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
进入mysql解压目录
yum -y install mysql-community*.rpm
修改 vim /etc/my.cnf
拷贝my.cnf
cp /etc/my.cnf 到 /data/mysql/
重启MySQL服务
service mysqld restart
service mysqld status
查看生成密码（并复制密码）
vim /var/log/mysqld.log
问题报错：
/var/log/mysqld.log 中找不到临时密码
1.删除原来安装过的mysql残留的数据（这一步非常重要，问题就出在这）
rm -rf /var/lib/mysql
2.重启mysqld服务
systemctl restart mysqld
3.再去找默认密码
cat /var/log/mysqld.log | grep password
mysql -u root -p 粘贴密码
– 重置密码,所有的操作得先重置密码,要求
ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘MyNewPass4!’;
– 修改为%,才能远程访问
RENAME USER root@localhost TO root@%;
– 修改密码,Jh123456!
– 并且密码的类型是mysql本地(密码的加密方式);WITH mysql_native_password
– 密码的过期策略;PASSWORD EXPIRE NEVER;
ALTER USER root@% IDENTIFIED WITH mysql_native_password BY ‘Jh123456!’ PASSWORD EXPIRE NEVER;
五、Hive高可用
官网：apache.org
拉包到node04
解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz
分别配置客户端和服务端 hive-site.xml
驱动拷贝：拷贝mysql-connector-java-5.1.47-bin.jar到/data/hive/lib/
一定在都配置好之后，在服务端初始化（node04）
bin/schematool -dbType mysql -initSchema
如果报错：
解决方案：
将客户端和服务端lib 下的guava-19.0.jar替换为 guava-27.0-jre.jar
重新初始化
bin/schematool -dbType mysql -initSchema
启动服务端启动服务
bin/hive --service metastore
在客户端启动hive(node02)
bin/hive
六、HBase高可用
拷贝hbase目录到四台虚拟机上
进入data目录 [root@node3 data]# scp -r hbase/ node2:pwd
删压缩包、docs
这时要启动所有服务,注意先启动zookeeper
| Node2 | Node3 | Node4 | Node5 | |
|---|---|---|---|---|
| Zookeeper | ✔ | ✔ | ✔ | |
| 大哥(Master) | ✔ | |||
| 二哥(backMaster) | ✔ | ✔ | ||
| 小弟(regionServer) | ✔ | ✔ | ✔ |
配置文件（注意也要将hdfs-site.xml放入conf目录下）
将配置文件同步到其它的服务器上
在想当大哥的服务器启动hbase;(node3)
bin/start-hbase.sh
停止服务(在大哥上停止)
bin/stop-hbase.sh
访问
http://node3:16010/