分布式搭建-4 kafka搭建

环境：
    1..版本选择
    参考： hadoop集群版本兼容问题
          hadoop-2.5.0
          hive-0.13.1
          spark-1.2.0
          hbase-0.98.6
          flume-ng-1.5.0
          jdk-8u161-linux-x64.tar.gz

          kafka_2.11-0.8.2.1
组件分布：

	qy01	qy02	qy03
HDFS	NameNode DataNode	DataNode	DataNode
YARN	ResourceManager NodeManager	NodeManager	NodeManager
Zookeeper	Zookeeper	Zookeeper	Zookeeper
Kafka	Kafka	Kafka	Kafka
Flume	Flume	Flume	Flume
Spark	Spark
Hive	Hive
Mysql	Mysql

下载地址：http://archive.apache.org/dist/

也可去官网下载

(1)需改压缩包权限并，解压文件到用户根目录，命令：

chmod u+x kafka_2.11-0.8.2.1.tgz 
tar -zxvf kafka_2.11-0.8.2.1.tgz -C /opt/modules/ 

（2）修改 kafka_2.11-0.8.2.1 为 kafka_2.11

mv kafka_2.11-0.8.2.1 kafka_2.11

3.配置环境变量

sudo vim ~/.bashrc 

 

使环境变生效

source ~/.bashrc        

6.修改配置文件 目录： kafka_2.11/config

修改： server.properties

broker.id=0       三台主机分别设置为 0、 1、 2

host.name=hadoop01        三台主机分别设置为 hadoop01、 hadoop02、 hadoop03

修改日志存放目录

zookeeper设置

 

修改： producer.properties

7.分发kafka到另外两台主机

修改： server.properties

broker.id=0       三台主机分别设置为 0、 1、 2

host.name        三台主机分别设置： 各自的主机名

8.启动kafka服务

./bin/kafka-server-stop.sh config/server.properties