大数据学习——Kafka环境搭建

搭建 Kafka 0.11.0.0 环境

我使用了4台虚拟机来搭建相对应的节点，具体情况如下：

	master	slave1	slave2	slave3
NameNode	√
SecondaryNameNode				√
DataNode		√	√	√
ResourceManage	√
NodeManage		√	√	√
Flume	√	√	√	√
ZooKeeper		√	√	√
Kafka	√	√	√

软件版本：

• Hadoop 2.7.2
• Flume 1.7.0
• ZooKeeper 3.4.12
• Kafka 2.11-0.11.0.0

另注：我的所有软件都安装在 /usr/wang/ 目录下。

安装

1.解压

tar -zxvf kafka_2.11-0.11.0.0.tgz

2.建立软链

ln -s kafka_2.11-0.11.0.0 kafka

3.配置环境变量

sudo vim /etc/profile

# KAFKA ENVIROMENT
export KAFKA_HOME=/usr/wang/kafka
export PATH=$KAFKA_HOME/bin:$PATH

source /etc/profile

Kafka 配置

1.在 /usr/wang/kafka 下创建 logs 文件夹存放 日志信息

cd /usr/wang/kafka
mkdir logs

2.配置 server.properties 文件

cd /usr/wang/kafka/config
vim server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/usr/wang/logs
#配置连接Zookeeper集群地址
zookeeper.connect=slave1:2181,slave2:2181,slave3:2181

集群操作

1.分发 Kafka 到其他节点

cd /usr/wang

rsync -rvl kafka spark@slave1:/usr/wang/
rsync -rvl kafka spark@slave2:/usr/wang/

2.编辑 server.properties 文件中的 broker.id

• slave1 节点上

  broker.id=1
  

• slave2 节点上

  broker.id=2
  

简单命令

1.启动命令

cd /usr/wang/kafka
bin/kafka-server-start.sh config/server.properties &

其中 & 表示 Kafka 运行在后台，若启动时没有加 &，可以 ctrl + z 然后输入 bg 即可转入后台。