1、typedef struct rd_kafka_conf_s rd_kafka_conf_t;
rd_kafka_conf_t是kafka的全局配置结构,通过rd_kafka_conf_new()创建,创建时即进行了默认配置,通过rd_kafka_conf_set()设置参数值,是rd_kafka_new()创建kafka处理句柄的第二个参数,是必须创建的结构。
2、typedef struct rd_kafka_topic_conf_s rd_kafka_topic_conf_t;
rd_kafka_topic_conf_t主题配置结构,通过rd_kafka_topic_conf_new()创建,创建时即进行了默认配置,通过rd_kafka_topic_conf_set()设置参数值,是必须创建的结构。
3、typedef struct rd_kafka_s rd_kafka_t;
rd_kafka_t 是kafka 处理句柄结构,分为producer类型和consumer类型,由rd_kafka_new()第一个参数类型决定。rd_kafka_t是一个总体结构,conf和topic_conf都是为此结构服务,其中包含rk_brokers链表,rk_topics链表,是必须创建的结构。
4、typedef struct rd_kafka_topic_partition_list_s rd_kafka_topic_partition_list_t;
rd_kafka_topic_partition_list_t 可扩展长度的 主题-分区 链表,通过rd_kafka_topic_partition_list_new()创建,创建时指定长度,通过rd_kafka_topic_partition_list_add()添加 主题-分区对,用于订阅消息。
1、rd_kafka_conf_t *rd_kafka_conf_new (void)
参数:无
返回值:rd_kafka_conf_t *
创建一个kafka全局配置结构,并进行默认初始化设置,返回其引用指针。
2、rd_kafka_conf_res_t rd_kafka_conf_set (rd_kafka_conf_t *conf,
const char *name,
const char *value,
char *errstr, size_t errstr_size)
参数:
conf:配置结构
vame:配置项名称
value:配置项值
errstr:错误提示
errstr_size:错误提示长度
返回值:rd_kafka_conf_res_t 枚举,错误写入errstr中
name具体的名称及作用见rd_kafka_properties 中_RK_GLOBAL类型的数据定义。调用这个函数后再调用rd_kafka_conf_set_default_topic_conf()会将之前设置的值全部用默认值覆盖掉。因为错误提示会写入errstr中,所以提前给errstr分配512字节空间。
bootstrap.servers
3、rd_kafka_topic_conf_t *rd_kafka_topic_conf_new (void)
参数:无
返回值:rd_kafka_topic_conf_t *
创建一个主题配置结构,并进行默认初始化设置,返回其引用指针。
4、rd_kafka_conf_res_t rd_kafka_topic_conf_set (rd_kafka_topic_conf_t *conf,
const char *name,
const char *value,
char *errstr, size_t errstr_size)
参数:
Conf:主题配置结构
Name:主题配置项名称
Value:主题配置项值
Errstr:错误提示
errstr_size:错误提示长度
返回值:rd_kafka_conf_res_t 枚举,错误写入errstr中
name具体的名称及作用见rd_kafka_properties 中_RK_TOPIC类型的数据定义。因为错误提示会写入errstr中,所以提前给errstr分配512字节空间。
5、rd_kafka_t *rd_kafka_new (rd_kafka_type_t type, rd_kafka_conf_t *app_conf,
char *errstr, size_t errstr_size)
参数:
Type:RD_KAFKA_PRODUCER是创建生产者类型,RD_KAFKA_CONSUMER是创建消费者类型
Conf:配置结构
Errstr:错误提示
errstr_size:错误提示长度
返回值:
成功:返回rd_kafka_t *kafka操作句柄
失败:返回NULL,并记录错误信息到errstr
程序中先配置conf和topic_conf,然后调用此接口生成操作句柄。对消费者来讲,订阅主题,轮询接收消息。对生产者来讲,根据主题生成主题操作句柄,并通过主题操作句柄发送消息。
6、void rd_kafka_destroy (rd_kafka_t *rk)
参数:
Rk:kafka操作句柄
返回值:无
释放创建的kafka操作句柄。
6、rd_kafka_topic_t *rd_kafka_topic_new (rd_kafka_t *rk, const char *topic,
rd_kafka_topic_conf_t *conf)
参数:
Rk:kafka操作句柄
Topic:主题内容
Conf:主题配置
返回值:
成功:返回rd_kafka_topic_t * 主题操作句柄
失败:返回NULL,记录错误信息到errstr
此接口一般是生产者使用,使用此接口生成的主题操作句柄进行发送消息。
7、void rd_kafka_topic_destroy (rd_kafka_topic_t *app_rkt)
参数:
app_rkt:主题操作句柄
返回值:无
释放创建的主题操作句柄
8、int rd_kafka_produce (rd_kafka_topic_t *rkt, int32_t partition,
int msgflags,
void *payload, size_t len,
const void *key, size_t keylen,
void *msg_opaque)
参数:
Rkt:主题操作句柄
Partition:分区号
Msgflags:消息标志,使用RD_KAFKA_MSG_F_COPY标志
Payload:消息体指针
Len:消息体长度
Key:消息选项key值,用作平衡分区,计算分区号的,填NULL
Keylen:key长度,填0
msg_opaque:是作为回调函数的参数,填NULL
10、int rd_kafka_poll(rd_kafka_t *rk, int timeout_ms)
参数:
Rk:kafka操作句柄
timeout_ms:毫秒级时间
返回值:处理的事件数
发送完消息后调用此接口,timeout_ms是毫秒级的时间,函数会阻塞timeout_ms 毫秒等待事件处理,调用设置的回调函数。timeout_ms为0是非阻塞状态。
11、rd_kafka_resp_err_t rd_kafka_flush (rd_kafka_t *rk, int timeout_ms)
参数:
Rk:kafka操作句柄
timeout_ms:毫秒级时间
返回值:
成功:RD_KAFKA_RESP_ERR_NO_ERROR
失败:RD_KAFKA_RESP_ERR__TIMED_OUT
在摧毁生产者之前调用此接口,确保正在排队和正在进行的消息被处理完成。此函数会调用rd_kafka_poll()并触发回调。
12、int rd_kafka_brokers_add (rd_kafka_t *rk, const char *brokerlist)
参数:
Rk:kafka操作句柄
Brokerlist:broker字符串 如:”172.20.51.38:9092” 不写端口,则采用默认端口9092
多个broker brokerlist = "broker1:10000,broker2"
返回值:成功添加的broker个数
添加一个broker也可以通过 设置rd_kafka_conf_t结构中的 "bootstrap.servers" 配置项
rd_kafka_conf_set(conf, "bootstrap.servers", brokers, errstr, sizeof(errstr))
13、rd_kafka_resp_err_t rd_kafka_poll_set_consumer (rd_kafka_t *rk)
参数:
Rk:kafka操作句柄
返回值:rd_kafka_resp_err_t 枚举
将消息重定向到了消费者队列,可以使用rd_kafka_consumer_poll()进行取消息。
14、rd_kafka_topic_partition_list_t *rd_kafka_topic_partition_list_new (int size)
参数:size是topic结构的个数
返回值:无