安装KafKa和常用命令

 

 

 

创建topic：./kafka-topics.sh --create --topic JsonData --partitions 3 --replication-factor 1 --zookeeper linux04

删除：bin/kafka-topics.sh --delete --zookeeper sentos01:2181 --topic topicName

启动：./kafka-server-start.sh -daemon ../config/server.properties

 

1.上传2.0

2.解压tar -zxvf kafka_2.11-2.0.0.tgz

3.进入2.0目录 libs 下面 查看内置zookeeper

输入命令 ll zoo*

如下图：

4.在bin目录下面

   输入命令：

./zookeeper-server-start.sh ../config/zookeeper.properties

./kafka-server-start.sh ../config/server.properties

 5.在连接一台机器 然后查看进程

 输入命令：jps

 

 

 

 

注意：zookeeper启动的是单机版的zk

 6.在bin目录下 创建主题命令

./kafka-topics.sh --create --topic test --replication-factor 1 --partitions 1 --zookeeper localhost:2181

 

--bootstrap-server 是主机地址

--replication-factor  副本数

--partitions  分区数

--topic test  名字叫test

 

7.  在bin目录下面 查看消息队列  

./kafka-topics.sh --list --zookeeper localhost:2181

 

//这台单机版的kafka  叫做broker 代理

队列名字叫做topic  存储数据的  消息分类的  可以建立多个topic

./kafka-topics.sh --create --topic test1 --replication-factor 1 --partitions 1 --zookeeper localhost:2181

 

生产数据  的方式有很多  java方式、 flume、也可以是内置的producer.sh 往外拿也有很多中  java客户端、sparksteaming

 

生产者 ./kafka-console-producer.sh  查看命令   ./kafka-console-producer.sh --broker-list localhost:9092 --topic test  放数据 那台机器  那个toplic 里面放数据

 

消费者命令 ./kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test   如下图：         上图和下图做对比    消费的是最新的数据

 

如果想消费之前的数据       1.生产者 ./kafka-console-producer.sh --broker-list localhost:9092 --topic test01   2.消费者 消费的是之前的数据 ./kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test01 --from-beginning

 

 

Broker代理   安装kafka的

Producer------topic====consumer

生产者      放数据        消费者

以上是单机版的kafka

 

下面安装集群版的kafka

1.进入conf目录

vim server.properties  修改配置文件   必须修改下面三个地方

2.上传到别的机器上面

scp -r kafka_2.11-2.0.0 linux05:$PWD scp -r kafka_2.11-2.0.0 linux06:$PWD   将配置文件里面的vim server.properties 的  broker.id  修改了 三台不一样的数据

 

 

3.在kafka-----》bin目录下启动 //前台命令 ./kafka-server-start.sh ../config/server.properties ------------------------------------------------------------------- //后台命令  ./kafka-server-start.sh --daemon ../config/server.properties 会报错如下图：   正确的命令是： ./kafka-server-start.sh -daemon ../config/server.properties

4  搭建完成

 

生产topic

1  这个 指定副本的数量是错误的 ./kafka-topics.sh  --create --topic t1807a1 --partitions 2 --replication-factor 5 --zookeeper linux04:2181   2  设置三个副本也错了  ./kafka-topics.sh  --create --topic t1807a1 --partitions 2 --replication-factor 3 --zookeeper linux04:2181   3  两个副本创建出来了  ./kafka-topics.sh  --create --topic t1807a1 --partitions 2 --replication-factor 2 --zookeeper linux04:2181   4  查看分区数据 在自己创建的data中         5  bin---》 ./kafka-topics.sh --describe --topic t1807a1 --zookeeper linux04:2181       两个分区   0分区  0是机器名称   0,1  0号机器放的一个  1号机器放的一个 1 分区  1是机器名称   Kafka的组件

 

 

 

往分区放数据 如果两个分区  先后顺序是什么？   分区的具体目录

 

 

 

 

 

 

 

 

 

 

监控写入分区的数据   1.下图是两个分区的具体信息          2.第一台机器   0号分区的监控  主文件     3.第一台机器   1号分区的监控  主文件

 

 

t1807a1是topic的名称

 

如上：监控完成  往topic  ---- 》t1807a1里面写数据  做测验  到底先往那个分区写数据

 

如下图：

 

 

 

测试： 生产数据 ./kafka-console-producer.sh --topic t1807a1 --broker-list linux04:9092     先往那个分区放数据不一定  但一定是轮询的放入数据 一个分区放一条数据   也可以指定分区  放数据

 

写入数据的方式：

Producer 采用推（push）模式将消息发布到broker  每条消息都被追加（append）到分区中（partition）中，属于顺序写磁盘想（顺序写磁盘）

 

 

数据存储形式是kv

属性有三个  区号 id（offset）偏移量  时间戳

存数据底层是 hash表

 

 

 

 

 

 

 

 

 

分区的原则

1，指定了partition  直接使用

2，未指定partition但指定了key，通过对key的value进行hash出一个partition

3，Partition和key都未指定   使用轮询选出一个partition

4，

 

 

 

5  存储策略

  基于时间

  基于大小

 

1.进入zookeeper的bin目录 启动命令   2.

 

 

 

 

消费组案例

第一种情况 1.一个生产者 和两个消费者==（两个组） 两个消费者同时消费一个topic的数据 和分组没有关系     命令 创建topic [root@linux04 bin]# ./kafka-topics.sh --create --topic mytopic --partitions 2 --replication-factor 1 --zookeeper linux04:2181 01机器生产者的命令  在kafka的bin目录 [root@linux04 bin]# ./kafka-console-producer.sh --topic mytopic --broker-list linux04:9092 02机器消费者的命令 [root@linux05 bin]# ./kafka-console-consumer.sh --topic mytopic --bootstrap-server linux04:9092 03机器消费者的命令 [root@linux06 bin]# ./kafka-console-consumer.sh --topic mytopic --bootstrap-server linux04:9092   第二种情况 2.两个分区 两个消费者 （一个组里 参数 --group  XXX）  生产者的命令不变 01机器生产者的命令  在kafka的bin目录 [root@linux04 bin]# ./kafka-console-producer.sh --topic mytopic --broker-list linux04:9092 02机器消费者的命令： [root@linux05 bin]# ./kafka-console-consumer.sh --topic mytopic --bootstrap-server linux04:9092 --group aaa 03机器的消费者命令： [root@linux06 bin]# ./kafka-console-consumer.sh --topic mytopic --bootstrap-server linux04:9092 --group aaa   消费数据的时候是 一个消费者一条  ，轮询消费 第三种情况 当只有两个分区  三个消费者其中一个消费者没有数据 （一个组里  三个消费者） 在上面的基础上再添加一个消费者 [root@linux06 bin]# ./kafka-console-consumer.sh --topic mytopic --bootstrap-server linux04:9092 --group aaa   第四种情况 当只有两个分区  一个消费者的时候   自己消费所有的数据

 

 

拦截器  第一个interceptor会在消息发送前将时间戳信息加载到消息value的最前部 第二个 interceptor会在消息发送后更新成功发送消息数和失败发送消息数   1.写生产者类 2.写第一个拦截器timeInterceptor     //将时间戳加到value前面 实现ProducerInterceptor接口   实现4个方法 onSend(ProducerRecord record) //发送数据之前调用 onAcknowledgement(RecordMetadata metadata, Exception exception) //发送确认之前调用 close() configure(Map configs)   写第二个拦截器  实现ProducerInterceptor接口   //记录发送消息失败和成功的条数     实现4个方法 onSend(ProducerRecord record) //发送数据之前调用 onAcknowledgement(RecordMetadata metadata, Exception exception) //发送确认之前调用 close() configure(Map configs)  3.在生产者类里面注册拦截器 拦截器的顺序要第一个和第二个不要写混了   4.注意 打印结果

 

快捷键替换引号

Ctrl+f  --->ctrl+r