kafka-入门与部署

kafka

简介

Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。以下粗略讲几个概念

topic

kafka模仿了数据库的设计设计了主题，相当于mysql的表

Partition

Partition（分区）其实就是个目录，一个主题多个分区

Produce

生产者。谁往里面发数据谁就是生产者

Consumer

消费者。从kafka读取数据的

安装

kafka的安装依赖于jdk以及zk，请先安装这俩，当然自带zk的kafka也可以用自带zk

集群部署

1.下载tar包解压后
mv kafka_2.11-0.11.0.2/ kafka
2.在 kafka目录下创建logs文件夹
kafka]$ mkdir logs
3. 修改配置文件
kafka]$ cd config/
config]$ vi server.properties
输入以下内容
（其他两个节点的broker.id是1，2）

**#broker的全局唯一编号，不能重复【重要】
broker.id=0
#删除topic功能使能【重要】
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
**#kafka运行日志存放的路径	【重要】
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址【重要】
zookeeper.connect=node1:2181,node2:2181,node3:2181

4.在/etc/profile中

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

然后source一下

启动：每个节点执行
bin/kafka-server-start.sh config/server.properties &
关闭：每个节点执行
bin/kafka-server-stop.sh stop