大数据组件测试环境

一、大数据组件环境搭建

1.Hadoop环境搭建

1.1 模板虚拟机环境准备

0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G

1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）

（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

（2）安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

net-tool：工具包集合，包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
vim：编辑器
[root@hadoop100 ~]# yum install -y vim
2）关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
3）创建atguigu用户，并修改atguigu用户的密码
[root@hadoop100 ~]# useradd atguigu
[root@hadoop100 ~]# passwd atguigu
4）配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers文件，在%wheel这行下面添加一行。

注意：atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。

5）在/opt目录下创建文件夹，并修改所属主和所属组
（1）在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
（2）修改module、software文件夹的所有者和所属组均为atguigu用户
[root@hadoop100 ~]# chown atguigu:atguigu /opt/module
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software
（3）查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
6）卸载虚拟机自带的JDK
注意：如果你的虚拟机是最小化安装不需要执行这一步。
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件
7）重启虚拟机
[root@hadoop100 ~]# reboot

1.2 克隆虚拟机

1）利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104
注意：克隆时，要先关闭hadoop100
2）修改克隆机IP，以下以hadoop102举例说明

（1）修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes

BOOTPROTO=static
NAME=“ens33”
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sV0FNL9K-1677221356814)(img/image-20230216142623373.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d6bZO4mH-1677221356814)(img/image-20230216142636094.png)]

（3）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4W8ceNFv-1677221356815)(img/image-20230216142659911.png)]

（4）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

3）修改克隆机主机名，以下以hadoop102举例说明
（1）修改主机名称
[root@hadoop100 ~]# vim /etc/hostname
hadoop102
（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
添加如下内容
192.168.10.100 hadoop100
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
4）重启克隆机hadoop102
[root@hadoop100 ~]# reboot
5）修改windows的主机映射文件（hosts文件）
（1）如果操作系统是window7，可以直接修改
（a）进入C:\Windows\System32\drivers\etc路径
（b）打开hosts文件并添加如下内容，然后保存
192.168.10.100 hadoop100
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可
（a）进入C:\Windows\System32\drivers\etc路径
（b）拷贝hosts文件到桌面
（c）打开桌面hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

1.3 在hadoop102安装JDK

1）卸载现有JDK
注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。详细步骤见问文档3.1节中卸载JDK步骤。
2）用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hZYH2kVV-1677221356815)(img/image-20230216142756516.png)]

3）在Linux系统下的opt目录中查看软件包是否导入成功
[atguigu@hadoop102 ~]$ ls /opt/software/
看到如下结果：
jdk-8u212-linux-x64.tar.gz
4）解压JDK到/opt/module目录下
[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
5）配置JDK环境变量
（1）新建/etc/profile.d/my_env.sh文件
[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
（2）保存后退出
:wq
（3）source一下/etc/profile文件，让新的环境变量PATH生效
[atguigu@hadoop102 ~]$ source /etc/profile
6）测试JDK是否安装成功
[atguigu@hadoop102 ~]$ java -version
如果能看到以下结果，则代表Java安装成功。
java version “1.8.0_212”
注意：重启（如果java -version可以用就不用重启）
[atguigu@hadoop102 ~]$ sudo reboot

1.4 在hadoop102安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XxYxxfrM-1677221356815)(img/image-20230216142853301.png)]

2）进入到Hadoop安装包路径下

[atguigu@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

5）将Hadoop添加到环境变量

​ （1）获取Hadoop安装路径
[atguigu@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
​ （2）打开/etc/profile.d/my_env.sh文件
[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
在my_env.sh文件末尾添加如下内容：（shift+g）
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出： :wq
​ （3）让修改后的文件生效
[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

6）测试是否安装成功

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

7）重启（如果Hadoop命令不能用再重启虚拟机）

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot
xsync集群分发脚本
（a）rsync命令原始拷贝：
rsync -av /opt/module atguigu@hadoop103:/opt/
（b）期望脚本：
xsync 要同步的文件名称
（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
[atguigu@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atguigu/.local/bin:/home/atguigu/bin:/opt/module/jdk1.8.0_212/bin

8）脚本实现

（a）在/home/atguigu/bin目录下创建xsync文件
[atguigu@hadoop102 opt]$ cd /home/atguigu
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync
在该文件中编写如下代码
#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送

for file in $@
do
    #4. 判断文件是否存在
    if [ -e $file ]
        then
            #5. 获取父目录
            pdir=$(cd -P $(dirname $file); pwd)

            #6. 获取当前文件的名称
            fname=$(basename $file)
            ssh $host "mkdir -p $pdir"
            rsync -av $pdir/$fname $host:$pdir
        else
            echo $file does not exists!
    fi
done

（b）修改脚本 xsync 具有执行权限
[atguigu@hadoop102 bin]$ chmod +x xsync
（c）测试脚本
[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin
（d）将脚本复制到/bin中，以便全局调用
[atguigu@hadoop102 bin]$ sudo cp xsync /bin/
（e）同步环境变量配置（root所有者）
[atguigu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了sudo，那么xsync一定要给它的路径补全。
让环境变量生效
[atguigu@hadoop103 bin]$ source /etc/profile
[atguigu@hadoop104 opt]$ source /etc/profile

1.5 SSH无密登录配置

1）配置ssh

（1）基本语法
ssh另一台电脑的IP地址

（2）ssh连接时出现Host key verification failed的解决方法

[atguigu@hadoop102 ~]$ ssh hadoop103
如果出现如下内容
Are you sure you want to continue connecting (yes/no)?
输入yes，并回车
（3）退回到hadoop102
[atguigu@hadoop103 ~]$ exit

2）生成公钥和私钥

[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh

[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104
注意：
还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；

3）配置集群

（1）核心配置文件
配置core-site.xml
[atguigu@hadoop102 ~]$ cd $HADOO{P}_{H}OME/etc/hadoop[atguigu@hadoop102hadoop]$ vim core-site.xml
文件内容如下：

fs.defaultFS hdfs://hadoop102:8020

    hadoop.tmp.dir
    /opt/module/hadoop-3.1.3/data




    hadoop.http.staticuser.user
    atguigu


（2）HDFS配置文件
配置hdfs-site.xml
[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml
文件内容如下：



	
	
        dfs.namenode.http-address
        hadoop102:9870
    
	
    
        dfs.namenode.secondary.http-address
        hadoop104:9868
    


（3）YARN配置文件
配置yarn-site.xml
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
文件内容如下：



    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    


    yarn.resourcemanager.hostname
    hadoop103




    yarn.nodemanager.env-whitelist
    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME



（4）MapReduce配置文件
配置mapred-site.xml
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml
文件内容如下：



	
    
        mapreduce.framework.name
        yarn
    

4）在集群上分发配置好的Hadoop配置文件
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/
5）去103和104上查看文件分发情况
[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

1）配置workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中增加如下内容：
hadoop102
hadoop103
hadoop104
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

​ （1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
（2）启动HDFS
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
（3）在配置了ResourceManager的节点（hadoop103）启动YARN
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
（4）Web端查看HDFS的NameNode
（a）浏览器中输入：http://hadoop102:9870
​ （b）查看HDFS上存储的数据信息
（5）Web端查看YARN的ResourceManager
（a）浏览器中输入：http://hadoop103:8088
​ （b）查看YARN上运行的Job信息

1.6 编写Hadoop集群常用脚本

1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh
输入如下内容
#!/bin/bash
if [ $# -lt 1 ]
then
echo “No Args Input…”
exit ;
fi

case $1in"start")echo"===================启动hadoop集群==================="echo"---------------启动hdfs---------------"sshhadoop102"/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"echo"---------------启动yarn---------------"sshhadoop103"/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"echo"---------------启动historyserver---------------"sshhadoop102"/opt/module/hadoop-3.1.3/bin/mapred--daemonstarthistoryserver";;"stop")echo"===================关闭hadoop集群==================="echo"---------------关闭historyserver---------------"sshhadoop102"/opt/module/hadoop-3.1.3/bin/mapred--daemonstophistoryserver"echo"---------------关闭yarn---------------"sshhadoop103"/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"echo"---------------关闭hdfs---------------"sshhadoop102"/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;\ast )echo"InputArgsError...";;esac保存后退出，然后赋予脚本执行权限[atguigu@hadoop102bin]$ chmod +x myhadoop.sh

2）查看三台服务器Java进程脚本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall
输入如下内容
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done
保存后退出，然后赋予脚本执行权限
[atguigu@hadoop102 bin]$ chmod +x jpsall

3）分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

2.zookeeper搭建

2.1官网首页：

https://zookeeper.apache.org/

2.2本地模式安装

1）安装前准备

（1）安装 JDK
（2）拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下
（3）解压到指定目录
[atguigu@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-
bin.tar.gz -C /opt/module/
（4）修改名称
[atguigu@hadoop102 module]$ mv apache-zookeeper-3.5.7 -bin/
zookeeper-3.5.7

2）配置修改

（1）将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg；
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
（2）打开 zoo.cfg 文件，修改 dataDir 路径：
[atguigu@hadoop102 zookeeper-3.5.7]$ vim zoo.cfg
修改如下内容：
dataDir=/opt/module/zookeeper-3.5.7/zkData
（3）在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹
[atguigu@hadoop102 zookeeper-3.5.7]$ mkdir zkData

3）操作 Zookeeper

（1）启动 Zookeeper
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start
（2）查看进程是否启动
[atguigu@hadoop102 zookeeper-3.5.7]$ jps
4020 Jps
4001 QuorumPeerMain
（3）查看状态
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/…/conf/zoo.cfg
Mode: standalone
（4）启动客户端
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh
（5）退出客户端：
[zk: localhost:2181(CONNECTED) 0] quit
（6）停止 Zookeeper
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh stop

2.3集群安装

1）解压安装

（1）在 hadoop102 解压 Zookeeper 安装包到/opt/module/目录下
[atguigu@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-
bin.tar.gz -C /opt/module/
（2）修改 apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7
[atguigu@hadoop102 module]$ mv apache-zookeeper-3.5.7-bin/
zookeeper-3.5.7

2）配置服务器编号

（1）在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData

[atguigu@hadoop102 zookeeper-3.5.7]$ mkdir zkData
（2）在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
[atguigu@hadoop102 zkData]$ vi myid
在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）
2
注意：添加 myid 文件，一定要在 Linux 里面创建，在 notepad++里面很可能乱码
（3）拷贝配置好的 zookeeper 到其他机器上
[atguigu@hadoop102 module ]$ xsync zookeeper-3.5.7
并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 3、4

3）配置zoo.cfg文件

（1）重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
（2）打开 zoo.cfg 文件
[atguigu@hadoop102 conf]$ vim zoo.cfg
#修改数据存储路径配置
dataDir=/opt/module/zookeeper-3.5.7/zkData
#增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（3）配置参数解读
server.A=B:C:D。
A 是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据
就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比
较从而判断到底是哪个 server。
B 是这个服务器的地址；
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的
Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
（4）同步 zoo.cfg 配置文件
[atguigu@hadoop102 conf]$ xsync zoo.cfg

4）集群操作

（1）分别启动 Zookeeper
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start

[atguigu@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start
[atguigu@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start
（2）查看状态
[atguigu@hadoop102 zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/…/conf/zoo.cfg
Mode: follower
[atguigu@hadoop103 zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/…/conf/zoo.cfg
Mode: leader
[atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/…/conf/zoo.cfg
Mode: follower

2.4 ZK 集群启动停止脚本

1）在 hadoop102 的/home/atguigu/bin 目录下创建脚本

[atguigu@hadoop102 bin]$ vim zk.sh
在脚本中编写如下内容
#!/bin/bash
case $1 in
“start”){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 启动 ------------
ssh $i “/opt/module/zookeeper-3.5.7/bin/zkServer.sh
start”
done
};;
“stop”){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 停止 ------------
ssh $i “/opt/module/zookeeper-3.5.7/bin/zkServer.sh
stop”
done
};;
“status”){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 状态 ------------
ssh $i “/opt/module/zookeeper-3.5.7/bin/zkServer.sh
status”
done
};;
esac

2）增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod u+x zk.sh
3）Zookeeper 集群启动脚本
[atguigu@hadoop102 module]$ zk.sh start
4）Zookeeper 集群停止脚本
[atguigu@hadoop102 module]$ zk.sh stop

3.kafka集群搭建

3.1 集群部署

官方下载地址：http://kafka.apache.org/downloads.html

1）解压安装包

[atguigu@hadoop102 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C
/opt/module/

2）修改解压后的文件名称

[atguigu@hadoop102 module]$ mv kafka_2.12-3.0.0/ kafka

3）进入到/opt/module/kafka 目录，修改配置文件

[atguigu@hadoop102 kafka]$ cd config/
[atguigu@hadoop102 config]$ vim server.properties
输入以下内容：
#broker 的全局唯一编号，不能重复，只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以
配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1

每个 topic 创建时的副本数，默认时 1 个副本

offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824

检查过期数据的时间，默认 5 分钟检查一次是否数据过期

log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
fka

4）分发安装包

[atguigu@hadoop102 module]$ xsync kafka/

5）分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties

中的 broker.id=1、broker.id=2
注：broker.id 不得重复，整个集群中唯一。
[atguigu@hadoop103 module]$ vim kafka/config/server.properties
修改:

The id of the broker. This must be set to a unique integer for

each broker.
broker.id=1
[atguigu@hadoop104 module]$ vim kafka/config/server.properties
修改:

The id of the broker. This must be set to a unique integer for

each broker.
broker.id=2

6）配置环境变量

（1）在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置
[atguigu@hadoop102 module]$ sudo vim /etc/profile.d/my_env.sh
增加如下内容：
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
（2）刷新一下环境变量。
[atguigu@hadoop102 module]$ source /etc/profile
（3）分发环境变量文件到其他节点，并 source。
[atguigu@hadoop102 module]$ sudo /home/atguigu/bin/xsync
/etc/profile.d/my_env.sh
[atguigu@hadoop103 module]$ source /etc/profile
[atguigu@hadoop104 module]$ source /etc/profile

7）启动集群

（1）先启动 Zookeeper 集群，然后启动 Kafka。
[atguigu@hadoop102 kafka]$ zk.sh start
（2）依次在 hadoop102、hadoop103、hadoop104 节点上启动 Kafka。
[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon
config/server.properties
[atguigu@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon
config/server.properties
[atguigu@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon
config/server.properties

注意：配置文件的路径要能够到 server.properties。

8）关闭集群

[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh

3.2 集群启停脚本

1）在/home/atguigu/bin 目录下创建文件 kf.sh 脚本文件

[atguigu@hadoop102 bin]$ vim kf.sh
脚本如下：
#! /bin/bash
case $1 in
“start”){
for i in hadoop102 hadoop103 hadoop104
do
echo " --------启动 $i Kafka-------"
ssh $i “/opt/module/kafka/bin/kafka-server-start.sh -
daemon /opt/module/kafka/config/server.properties”
done
};;
“stop”){
for i in hadoop102 hadoop103 hadoop104
do
echo " --------停止 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
done
};;
esac

2）添加执行权限

[atguigu@hadoop102 bin]$ chmod +x kf.sh

3）启动集群命令

[atguigu@hadoop102 ~]$ kf.sh start

4）停止集群命令

[atguigu@hadoop102 ~]$ kf.sh stop
注意：停止 Kafka 集群时，一定要等 Kafka 所有节点进程全部停止后再停止 Zookeeper
集群。因为 Zookeeper 集群当中记录着 Kafka 集群相关信息，Zookeeper 集群一旦先停止，
Kafka 集群就没有办法再获取停止进程的信息，只能手动杀死 Kafka 进程了。

4.drill集群搭建

1.下载解压

[atguigu@hadoop102 ~]tar -zxvf apache-drill-1.20.3.tar.gz

[root@hadoop102 ~]# cd /root/apache-drill-1.20.3/conf

2.配置

#drill-override.conf
drill.exec: {
cluster-id: “my-drill-cluster”,
zk.connect: “hadoop102:2181,hadoop103:2181,hadoop104:2181”
}

#drill-env.sh
export DRILL_MAX_DIRECT_MEMORY=“2G”
export DRILL_HEAP=“1G”

3.修改环境变量：# vi /etc/profile

# export LANG=en_US.UTF-8

# export DRILL_HOME=/usr/java/drill-0.8.0

# export PATH=$PATH:$DRILL_HOME/bin

4.重载

source /etc/profile

5.启动

[root@node1 ~]# apache-drill-1.12.0/bin/drillbit.sh start
[root@node2 ~]# apache-drill-1.12.0/bin/drillbit.sh start
[root@node3 ~]# apache-drill-1.12.0/bin/drillbit.sh start

6.验证

1、WEBUI
http://node1:8047

2、DRILL命令行
[root@hadoop102 ~ ~]# /opt/module/apache-drill-1.20.3/bin/sqlline -u jdbc:drill:zk=hadoop103:2181

drill官网kafka配置：
{
“type”: “kafka”,
“kafkaConsumerProps”: {
“key.deserializer”: “org.apache.kafka.common.serialization.ByteArrayDeserializer”,
“auto.offset.reset”: “earliest”,
“bootstrap.servers”: “localhost:9092”,
“group.id”: “drill-query-consumer-1”,
“enable.auto.commit”: “true”,
“value.deserializer”: “org.apache.kafka.common.serialization.ByteArrayDeserializer”,
“session.timeout.ms”: “30000”
},
“enabled”: true
}

7…验证drill集群是否可用：

drill查询Kafka
cd /opt/module/kafka
bin/sqlline -u jdbc:drill:zk=hadoop103:2181
show databases;
use kafka;
show tables;
select * from kafka.first;

rt

6.验证

1、WEBUI
http://node1:8047

2、DRILL命令行
[root@hadoop102 ~ ~]# /opt/module/apache-drill-1.20.3/bin/sqlline -u jdbc:drill:zk=hadoop103:2181

drill官网kafka配置：
{
“type”: “kafka”,
“kafkaConsumerProps”: {
“key.deserializer”: “org.apache.kafka.common.serialization.ByteArrayDeserializer”,
“auto.offset.reset”: “earliest”,
“bootstrap.servers”: “localhost:9092”,
“group.id”: “drill-query-consumer-1”,
“enable.auto.commit”: “true”,
“value.deserializer”: “org.apache.kafka.common.serialization.ByteArrayDeserializer”,
“session.timeout.ms”: “30000”
},
“enabled”: true
}

7…验证drill集群是否可用：

drill查询Kafka
cd /opt/module/kafka
bin/sqlline -u jdbc:drill:zk=hadoop103:2181
show databases;
use kafka;
show tables;
select * from kafka.first;