Egg.js 使用 Kafka

1. 安装 kafka-node：

yarn add kafka-node

2. 在 config 目录下创建 kafka.js 配置文件：

...
config.kafka = {
  // kafka 配置
  client: {
    kafkaHost: '${ip}:9092'
  },

  // producer 配置
  producer: {
    // 1=leader确认, 2=所有ISR副本确认, -1或0=all确认
    requireAcks: 1,
  },

  // consumer 配置
  consumer: {
    autoCommit: true,
    groupId: 'egg-kafka-group',
    // 从最新的消息开始消费, 如果设置为earliest则表示从最早的消息开始消费
    fromOffset: 'latest'
  }
};
...

3. 在 app.js 文件中连接 Kafka 并创建生产者 or 消费者：

import { Application } from 'egg';
import * as kafka from 'kafka-node';

export default class AppBootHook {
  app: Application;
  logPrefix: string;

  constructor(app: Application) {
    this.app = app;
  }

  /**
   * worker准备就绪
   */
  async didReady() {
    const { app } = this;

    // 请将您的app.ready中的代码置于此处
    app.coreLogger.info(`${this.logPrefix} worker(${process.pid}) is ready`);

    /**
     * 生产者
     * 
     * 使用KafkaClient连接Kafka集群, 并创建生产者Producer
     * 当生产者准备好时, 发送一条消息到主题my-topic中
     */
    const { KafkaClient, Producer } = kafka;
    // 使用上面的配置
    const client = new KafkaClient(app.config.kafka.client);

    const producer = new Producer(client, app.config.kafka.producer);

    producer.on('ready', () => {
      // 当连接成功时发送消息
      const message = 'hello kafka';
      producer.send([{topic: 'my-topic', messages: [message]}], (err, data) => {
        console.log(err, data);
      });
    });

    producer.on('error', err => {
      console.error(err);
    });

    /**
     * 消费者
     * 
     * 使用Consumer订阅主题my-topic的分区0
     * 当消费者接收到一条消息时, 会输出消息内容
     * 如果发生错误, 则会输出错误信息
     */
    // const { KafkaClient, Consumer } = kafka;
    // // 使用config/kafka.js中的配置
    // const client = new KafkaClient(app.config.kafka.client);

    // const consumer = new Consumer(
    //   client,
    // // 订阅主题和分区
    //   [{ topic: 'my-topic', partition: 0 }],
    // // 使用config/kafka.js中的配置
    //   app.config.kafka.consumer
    // );

    // consumer.on('message', message => {
    //   console.log(message);
    // });

    // consumer.on('error', err => {
    //   console.error(err);
    // });
  }

}