【kafka微服务实践】手把手教你搭建一个基于docker的kafka的微服务

基于docker的kafka的微服务搭建

  • 1、kafka简介
    • kafka中重要关键字
    • 为什么选择kafka呢
  • 2、搭建kafka服务
    • 方式一:手动搭建
    • 方式二 :docker微服务方式
    • 运行第二个kafka微服务的命令
    • docker 内部配置集群kafka搭建
  • 3、python连接kafka的简单实现

1、kafka简介

Kafka最初于2011年在 LinkedIn 开发,自那时起经历了很多改进,后来捐献给Apache基金,如今发展成为一个完整的平台,采用Scala和Java开发的开源流处理软件。

Kafka 是我工作多年使用最多的消息中间件 ,特点是拥有巨大吞吐量(数百万/秒),作为当下最流行的分布式,可水平扩展,可容错的“消息系统”。

2020年,Kafka 依旧炙手可热,一线大公司即使不用Kafka,但是自研产品也都是基于Kafka,或者完全借鉴Kafka设计思想,理论上来说,如果你还没熟练掌握一个MQ框架,Kafka绝对是不错的选择。

kafka中重要关键字

构建一个 Kafka cluster 首先需要理解 topics, producers, consumers, and brokers 的概念,弄懂这几个概念才能更好地了解Kafka的工作机制。
Producer:消息的生产方,如支付系统确认用户已经支付,支付系统要通知订单系统和物流系统,支付系统就是生产者。

Consumer:消费的接收方,Producer 的案例中,物流系统就是消费方,前两个都比较简单,我就不多说了。

Topic:每条发布到MQ集群的消息都有一个类别,这个类别被称为topic,可以理解成一类消息的名字。所有的消息都已topic作为单位进行归类。

Partition:Kafka 物理上分区的概念,每个 Topic 会分散在一个或多个 Partition。一个 Topic 的数据太大了,就分成小片,Kafka 为分区引入多副本模型,副本之间采用“一个leader多follower”的设计,通过多副本实现故障自动转移,保证可用性。

Broker:可以理解成一个服务器的节点,集群包含一个或多个服务器,这种服务器被称为 broker。对应用来说,生产者把消费发出去了,就不管了。消费者慢条斯理地按照自己的速率来消费。这段时间可能有大量消息产生,消费者压力还是在一定范围内。做生产者和消费者之间解耦的就是一个缓存服务broker。

Kafka Cluster:集群就是 Broker 的集合,多个 Broker 组成一个高可用集群。
Producer 与 Consumer的关系
【kafka微服务实践】手把手教你搭建一个基于docker的kafka的微服务_第1张图片
topic 和 Partition 的关系

一个 topic 可以分别存储到多个 Partition,每个 Partition 有序的。

【kafka微服务实践】手把手教你搭建一个基于docker的kafka的微服务_第2张图片

为什么选择kafka呢

Kafka 特有的功能:

1、相比同类中间件 RabbitMQ or ActiveMQ,Kafka 支持批量拉取消息,大大增加了Kafka的消息吞吐量。

2、支持多种发送场景:

1)发送并忘记。

2)同步发送 。

3)异步发送+回调函数。

3种方式虽然在时间上有所差别,但并不是说时间越快的越好,具体使用哪种方式要看具体的业务场景,比如业务要求消息必须是按顺序发送,可以使用第2种同步发送,并且只能在一个partation上。如果业务只关心消息的吞吐量,容许少量消息发送失败,也不关注消息的发送顺序,那么可以使用发送并忘记的方式。如果业务需要知道消息发送是否成功,并且对消息的顺序不关心,那么可以用异步+回调的方式来发送消息

3、分布式可高可扩展。Kafka 集群可以透明的扩展,增加新的服务器进集群。

只说了 Kafka 的优势,那别的同类产品就不好了吗?当然不是,存在即真理,每个产品能生存下来,一定有它自己的优势,比如 RabbitMQ,在吞吐量方面稍逊于 Kafka ,但是他们的出发点不一样,RabbitMQ 支持对消息的可靠的传递,支持事务,不支持批量的操作,技术选型中,选择最适合你的,你最了解熟悉的。
kafka优势总结 :
分布式 高性能 持久性和扩展性
支持多分区 高吞吐量 数据可持久化
支持多副本 低延迟 容错性高
支持多订阅者 高并发 支持水平在线扩展
基于ZooKeeper调度 时间复杂度为O(1) 消息分发自动平衡

2、搭建kafka服务

方式一:手动搭建

百度 :安装 kafka 安装,出来一堆的教程,
1)Kafka安装教程
2)kafka入门、安装详解
3) kafka 安装部署教程
总结 :手动安装大致过程 :官网下载二进制文件,需要修改配置文件,手动启动并停止,
过程感受 :设置的步骤很多,对机器的依赖比较大,过程较为繁琐,也能走得通,配置集群时就会有设置步骤较多

方式二 :docker微服务方式

百度:基于docker安装 kafka 安装,找到几个较为好的教程
1)基于docker搭建kafka
2)

步骤1:拉取镜像

在docker上安装kafka需要先安装zookeeper,我们可以使用docker pull先把zookeeper和kafka的镜像拉取下来

docker pull zookeeper
docker pull bitnami/kafka

步骤2:运行zookeeper

docker run -d --name zookeeper -p 2181:2181 -t registry.test.com/library/zookeeper

步骤3:运行kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.10.0.0:2181 -e ALLOW_PLAINTEXT_LISTENER=yes -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.0.0:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t bitnami/kafka

步骤4:创建topic

# 查询kafka容器ID
docker ps |grep kafka
# 进入kafka容器
docker exec -it 53cc0e000953 /bin/bash
# 创建topic mykafkadk
/opt/kafka/bin/kafka-topics.sh --zookeeper 10.160.32.28:2181 --create --replication-factor 1 --partitions 1 --topic mykafkadk

步骤5:创建生产者和消费者

cd /opt/kafka

./bin/kafka-console-producer.sh --broker-list 192.168.1.111:9092 --topic test

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.111:9092 --topic test --from-beginning

示例:

【kafka微服务实践】手把手教你搭建一个基于docker的kafka的微服务_第3张图片

运行第二个kafka微服务的命令

运行安装第二个kafka时需要修改如下参数:

1) name

2)端口号

3)KAFKA_BROKER_ID

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=10.10.0.0:2181 -e ALLOW_PLAINTEXT_LISTENER=yes KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.0.0:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t bitnami/kafka

创建两个kafka公用的topic:

/opt/kafka/bin/kafka-console-producer.sh --broker-list 10.160.32.28:9093 --topic kafkatesttopic1

发送消息:

/opt/kafka/bin/kafka-console-producer.sh --broker-list 10.160.32.28:9093 --topic kafkatesttopic1

消费消息 :

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.160.32.28:9093 --topic kafkatesttopic1 --from-beginning

docker 内部配置集群kafka搭建

1.文件目录

-根目录
    -dockerData 目录
        -kafka-jiqun 目录
            -docker-compose.yaml 集群启动配置文件
            -start.sh 启动器
            -stop.sh  停止删除器  

2.编辑文件docker-compose.yaml 根据你的情况进行修改 主要是-目录-ip-端口

针对一个zookeeper情况:
*********************************************************************************
version: "3"

services:
  zookeeper:
    image: zookeeper
    build:
      context: ./
    container_name: zookeeper-jiqun
    ports:
      - 2182:2181
    volumes:
      - /dockerData/kafka-jiqun/zookeeper/data:/data
      - /dockerData/kafka-jiqun/zookeeper/datalog:/datalog
      - /dockerData/kafka-jiqun/zookeeper/logs:/logs
    restart: always

  kafka_node_0:
    depends_on:
      - zookeeper
    build:
      context: ./
    container_name: kafka-node-0
    image: wurstmeister/kafka
    environment:
      KAFKA_BROKER_ID: 0
      KAFKA_ZOOKEEPER_CONNECT: 192.168.19.132:2182
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.19.132:9093
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 2
    ports:
      - 9093:9093
    volumes:
      - /dockerData/kafka-jiqun/kafka/node_0:/kafka
    restart: unless-stopped

  kafka_node_1:
    depends_on:
      - kafka_node_0
    build:
      context: ./
    container_name: kafka-node-1
    image: wurstmeister/kafka
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 192.168.19.132:2182
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.19.132:9094
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 2
    ports:
      - 9094:9094
    volumes:
      - /dockerData/kafka-jiqun/kafka/node_1:/kafka
    restart: unless-stopped

  kafka_node_2:
    depends_on:
      - kafka_node_1
    build:
      context: ./
    container_name: kafka-node-2
    image: wurstmeister/kafka
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 192.168.19.132:2182
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.19.132:9095
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9095
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 2
    ports:
      - 9095:9095
    volumes:
      - /dockerData/kafka-jiqun/kafka/node_2:/kafka
    restart: unless-stopped
*********************************************************************************
   

针对多个zookeeper:
********************************************************************************* 
version: "3"
services:
  zookeeper-node-0:
    image: zookeeper
    build:
      context: ./
    container_name: zookeeper-node-0
    ports:
      - 2182:2181
    volumes:
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-0/data:/data
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-0/datalog:/datalog
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-0/logs:/logs
    restart: always
  zookeeper-node-1:
    image: zookeeper
    build:
      context: ./
    container_name: zookeeper-node-1
    ports:
      - 2183:2181
    volumes:
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-1/data:/data
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-1/datalog:/datalog
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-1/logs:/logs
    restart: always
  zookeeper-node-2:
    image: zookeeper
    build:
      context: ./
    container_name: zookeeper-node-2
    ports:
      - 2184:2181
    volumes:
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-2/data:/data
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-2/datalog:/datalog
      - /dockerData/kafka-jiqun/zookeeper/zookeeper-node-2/logs:/logs
    restart: always

  kafka_node_0:
    depends_on:
      - zookeeper-node-0
      - zookeeper-node-1
      - zookeeper-node-2
    build:
      context: ./
    container_name: kafka-node-0
    image: wurstmeister/kafka
    environment:
      KAFKA_BROKER_ID: 0
      KAFKA_ZOOKEEPER_CONNECT: 192.168.19.132:2182,192.168.19.132:2183,192.168.19.132:2184
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.19.132:9093
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 2
    ports:
      - 9093:9093
    volumes:
      - /dockerData/kafka-jiqun/kafka/node_0:/kafka
    restart: unless-stopped

  kafka_node_1:
    depends_on:
      - kafka_node_0
    build:
      context: ./
    container_name: kafka-node-1
    image: wurstmeister/kafka
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 192.168.19.132:2182,192.168.19.132:2183,192.168.19.132:2184
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.19.132:9094
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 2
    ports:
      - 9094:9094
    volumes:
      - /dockerData/kafka-jiqun/kafka/node_1:/kafka
    restart: unless-stopped

  kafka_node_2:
    depends_on:
      - kafka_node_1
    build:
      context: ./
    container_name: kafka-node-2
    image: wurstmeister/kafka
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 192.168.19.132:2182,192.168.19.132:2183,192.168.19.132:2184
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.19.132:9095
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9095
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 2
    ports:
      - 9095:9095
    volumes:
      - /dockerData/kafka-jiqun/kafka/node_2:/kafka
    restart: unless-stopped
********************************************************************************* 

3.编辑start.sh启动器 这个不谢也没事就是不断的得写里面的命令

#! /bin/bash
sudo docker-compose up -d

4.编辑stop.sh停止-移除器 这个不谢也没事就是不断的得写里面的命令

针对一个zookeeper的情况:
***************************************************
#!/bin/bash
sudo docker stop kafka-node-0
sudo docker stop kafka-node-1
sudo docker stop kafka-node-2
sudo docker stop zookeeper-jiqun
sudo docker rm -f kafka-node-0
sudo docker rm -f kafka-node-1
sudo docker rm -f kafka-node-2
sudo docker rm -f zookeeper-jiqun
***************************************************
针对多个zookeeper的情况:
***************************************************
#!/bin/bash
sudo docker stop kafka-node-0
sudo docker stop kafka-node-1
sudo docker stop kafka-node-2
sudo docker stop zookeeper-node-0
sudo docker stop zookeeper-node-1
sudo docker stop zookeeper-node-2
sudo docker rm -f kafka-node-0
sudo docker rm -f kafka-node-1
sudo docker rm -f kafka-node-2
sudo docker rm -f zookeeper-node-0
sudo docker rm -f zookeeper-node-1
sudo docker rm -f zookeeper-node-2
***************************************************

5.检查docker-componse 是否存在

命令:
sudo docker-compose --version

如果没有进行以下操作
安装docker-componse:
sudo  wget https://github.com/docker/compose/releases/download/1.23.0-rc3/docker-compose-Linux-x86_64

移动:
sudo  mv docker-compose-Linux-x86_64 /usr/local/bin/docker-compose

授权:
sudo chmod +x /usr/local/bin/docker-compose

执行:
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

验证:
sudo docker-compose --version

6.上述没有问题 启动集群

命令:
sudo  bash start.sh

7.上述没有问题 停止集群

命令:
sudo  bash stop.sh

3、python连接kafka的简单实现

Python 接 Kafka 的标准库,kafka-python 和 pykafka。kafka-python 使用的人多是比较成熟的库,kafka-python 并没有zk的支持。pykafka 是 Samsa 的升级版本,使用 samsa 连接zookeeper,生产者直接连接 kafka 服务器列表,消费者才用zookeeper。

Python 连接 Kafka 简单实现

你可能感兴趣的:(测试开发与CI/CD实践,Linux与服务器运维,kafka,微服务,docker)