基于NET Core简单操作Kafka

安装

windows服务器上安装JDK，kafka以及zookeeper。

安装JDK

JDK下载路径

安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> “高级系统设置” -> “环境变量” ）：
C:\Program Files\Java\jdk-14\bin（你的安装目录）
打开cmd运行 “java -version” 查看当前系统Java的版本，测试是否安装完成。

安装zookeeper

Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper
下载zookeeper
主要是下载Bin文件的版本，apache-zookeeper-3.6.0-bin.tar.gz

下载完成解压文件
打开zookeeper-3.4.13\conf，把zoo_sample.cfg重命名成zoo.cfg
从文本编辑器里打开zoo.cfg
把dataDir的值改成“./zookeeper-3.4.13/data”
添加环境变量：
C:\Program Files\apache-zookeeper-3.6.0\bin（你的解压到的目录）
进入目录C:\Program Files\apache-zookeeper-3.6.0\bin，文本编辑zkEnv.cmd，添加JAVA_HOME变量后保存退出。
set JAVA_HOME=C:\Program Files\Java\jdk-14（前面安装JDK的目录）

打开cmd然后执行 zkserver，挂着不要关闭。

安装kafka

下载kafka

解压文件，注意解压的目录不能含有中文和空格
进入kafka的目录config
从文本编辑器里打开 server.properties
把 log.dirs的值改成 “./logs”
打开cmd进入kafka文件目录: cd C:\kafka_2.11-2.4.1(kafka目录)
输入并执行: .\bin\windows\kafka-server-start.bat .\config\server.properties
挂着不要关闭。

运行kafka

创建topic

cmd进入kafka目录，执行以下代码创建一个topic：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建生产者

cmd进入kafka目录，执行以下代码创建一个producer

kafka-console-producer.bat --broker-list localhost:9092 --topic test

创建消费者

cmd进入kafka目录，执行以下代码创建一个consumer

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

最后测试如图所示

NET简单操作kafka

新建两个项目，一个kafka服务端用于发送消息，一个kafka客户端用于订阅消息

打开NuGet，搜索安装kafka-net-core

服务端

using KafkaNet;
using KafkaNet.Model;
using KafkaNet.Protocol;
using System;

namespace KafkaServer
{
    class Program
    {
        static void Main(string[] args)
        {
            const string topicName = "test";
            var options = new KafkaOptions(new Uri("http://localhost:9092"));

            //创建一个生产者发消息
            using (var producer = new Producer(new BrokerRouter(options)){  BatchSize = 100, BatchDelayTime = TimeSpan.FromMilliseconds(2000) })
            {
                while (true)
                {
                    var message = Console.ReadLine();
                    if (message == "quit") break;

                    if (!string.IsNullOrEmpty(message))
                    {
                        producer.SendMessageAsync(topicName, new[] { new Message(message) });
                    }
                }
            }
        }
    }
}

客户端

using KafkaNet;
using KafkaNet.Common;
using KafkaNet.Model;
using System;
using System.Threading.Tasks;

namespace KafkaClient
{
    class Program
    {
        static void Main(string[] args)
        {
            const string topicName = "test";
            var options = new KafkaOptions(new Uri("http://localhost:9092"));


            Task.Run(() =>
            {
                //创建一个消费者
                var consumer = new Consumer(new ConsumerOptions(topicName, new BrokerRouter(options)));
                foreach (var data in consumer.Consume())
                {
                    Console.WriteLine("Response: PartitionId={0},Offset={1} :Value={2}", data.Meta.PartitionId, data.Meta.Offset, data.Value.ToUtf8String());
                }
            });

            Console.ReadLine();
        }
    }
}

运行测试结果：