大数据学习——Kafka环境搭建

搭建 Kafka 环境

  • 搭建 Kafka 0.11.0.0 环境
    • 安装
    • Kafka 配置
    • 集群操作
    • 简单命令

搭建 Kafka 0.11.0.0 环境

我使用了4台虚拟机来搭建相对应的节点,具体情况如下:

master slave1 slave2 slave3
NameNode
SecondaryNameNode
DataNode
ResourceManage
NodeManage
Flume
ZooKeeper
Kafka

软件版本:

  • Hadoop 2.7.2
  • Flume 1.7.0
  • ZooKeeper 3.4.12
  • Kafka 2.11-0.11.0.0

另注:我的所有软件都安装在 /usr/wang/ 目录下。

安装

1.解压

tar -zxvf kafka_2.11-0.11.0.0.tgz

2.建立软链

ln -s kafka_2.11-0.11.0.0 kafka

3.配置环境变量

sudo vim /etc/profile
# KAFKA ENVIROMENT
export KAFKA_HOME=/usr/wang/kafka
export PATH=$KAFKA_HOME/bin:$PATH
source /etc/profile

Kafka 配置

1.在 /usr/wang/kafka 下创建 logs 文件夹存放 日志信息

cd /usr/wang/kafka
mkdir logs

2.配置 server.properties 文件

cd /usr/wang/kafka/config
vim server.properties
#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/usr/wang/logs
#配置连接Zookeeper集群地址
zookeeper.connect=slave1:2181,slave2:2181,slave3:2181

集群操作

1.分发 Kafka 到其他节点

cd /usr/wang

rsync -rvl kafka spark@slave1:/usr/wang/
rsync -rvl kafka spark@slave2:/usr/wang/

2.编辑 server.properties 文件中的 broker.id

  • slave1 节点上

    broker.id=1
    
  • slave2 节点上

    broker.id=2
    

简单命令

1.启动命令

cd /usr/wang/kafka
bin/kafka-server-start.sh config/server.properties &

其中 & 表示 Kafka 运行在后台,若启动时没有加 &,可以 ctrl + z 然后输入 bg 即可转入后台。

你可能感兴趣的:(开发环境,Ubuntu,Kafka)