Kakfa集群搭建

阅读更多

先来整体熟悉下Kafka的一些概念和架构

（一）什么是Kafka？
Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据。


（二）为什么要用Kafka？

1，以时间复杂度O（1）的方式提供消息持久化和访问能力，即使应对TB级数据也能保证常数时间内的的访问和存储。
2，高吞吐率，在普通PC上也能保证每秒10万左右的消息传输能力
3，支持消息分区存储，并保证分区内消息的时序性，可支持分布式消费
4，能对接多种计算模型
5，支持副本，容错，水平扩容等特性。


（三）Kafka的名词解释
1，Broker ： 一个单独的kafka机器节点就称为一个broker，多个broker组成的集群，称为kafka集群
2，Topic   ：类似数据库中的一个表，我们将数据存储在Topic里面，当然这只是逻辑上的，在物理上，一个Topic
可能被多个Broker分区存储，这对用户是透明的，用户只需关注消息的产生于消费即可
3，Partition：类似分区表，每个Topic可根据设置将数据存储在多个整体有序的Partition中，每个顺序化partition会生成2个文件，一个是index文件一个是log文件，index文件存储索引和偏移量，log文件存储具体的数据
4，Producer：生产者，向Topic里面发送消息的角色
5，Consumer：消费者，从Topic里面读取消息的角色
6，Consumer Group：每个Consumer属于一个特定的消费者组，可为Consumer指定group name，如果不指定默认属于group


（四）Kafka的拓扑架构







（五）Kafka的安装

三台机器+外置Zookeeper集群：
192.168.1.1 kakfa1 zk1
192.168.1.2 kakfa2 zk2
192.168.1.3 kakfa3 zk3
关于zookeeper集群的安装，请参考博客：http://qindongliang.iteye.com/blog/1985145

（1） 下载kafka0.9.0.0

wget http://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz

（2）解压到某个目录
tar -zxvf kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz

（3）配置config/server.properties
三个重要配置：

broker.id=0/1/2 三台机器配置不能重复
log.dirs=/var/kafka_data 默认是在/tmp/kafka_logs下，目录会自动创建
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka ，默认kafka的文件会散落在zookeeper的根目录下
如果zookeeper上还有其他的文件如hbase，solr那就非常混乱，建议在连接后面加上/kafka这样就会以kafka为根目录

（4）一个例子和kafka基本命令如下：
生产者push数据：





消费者查看数据：




kafka在zookeeper上的目录结构：





kafka的基本命令介绍：

//启动一个kakfa-server：
nohup bin/kafka-server-start.sh config/server.properties &
//创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 3 --topic logstash
//命令行发送数据到topic的logstash里面
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic logstash
//查看kafka中的某个topic里面的数据：
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --from-beginning --topic logstash
//查看所有的topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181/kafka
//查看topic的详细信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

参考文章：

官网文档：
http://kafka.apache.org/documentation.html#quickstart
kafka实战例子1
http://www.mrhaoting.com/?p=152
kafka实战例子2
http://www.lujinhong.com/kafka集群操作指南.html
kafka深度解析
http://www.jasongj.com/2015/01/02/Kafka深度解析/
kafka参数详解
http://debugo.com/kafka-params/
官网参数详解
https://kafka.apache.org/08/configuration.html



有什么问题 可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园

• 
• 大小: 289.1 KB

• 
• 大小: 4.2 KB

• 
• 大小: 4.5 KB

• 
• 大小: 7.6 KB

• 查看图片附件