RdKafka

Kafka常用命令整理

partition数9.生产消息10.消费消息11.查看有哪些消费者Group12.查看新消费者详情13.查看Group详情14.删除Group15.设置consumergroup的offset16.RdKafka
Kim_Weir·2020-07-27 16:34

php-rdkafka 扩展安装

php有两种方式调用kafka一、php-rdkafka文档地址：https://arnaud-lb.github.io/php-rdkafka/phpdoc/book.rdkafka.htmlrdkafka
骑着大象去上班·2020-07-15 08:45

php安装rdkafka扩展

前言本文假定已经通过编译安装php程序，如果您是通过其他方式安装的php，实现方式可能有所不同。运行环境：Centos7.4、PHP7.2.x。安装librdkafka安装配置Git在安装之前请先确定当前服务器是否安装git，如果已安装配置好git，请直接进入下一步骤。安装git：yum-yinstallgit设置sshkey：使用gitclone命令从github上同步github上的代码库时，
皮老师·2020-07-07 22:24

c语言使用kafka消息队列的实例

1.提供初始化以及收发消息接口，rd_kafka_msg.h#ifndefRDKAFKA_MSG_H_#defineRDKAFKA_MSG_H_#include"rdkafka.h"intkafka_init
pyxllq·2020-07-02 14:00

Librdkafka对kafka topic的封装

topic-partition的封装,任何一个partition都必须要属于一下topic;我们这节就来分析一上librdkafka对topic的封装rd_kafka_itopic_s所在文件:src/rdkafka_topic.h
扫帚的影子·2020-07-02 07:23

Linux 安装kafka的库librdkafka

其中rdkafka.h会用到，编译自己的程序的时候链到这个库-lrdkafka+
猫瑾·2020-06-28 21:10

搭建kafka高级消费 （high-consumer）php7

有很多同学在服务器上搭建好，kafka，在应用端使用kafka时候出现很多问题，这里提供下我的kafka生产和消费的php函数环境说明：1：首先php要有kafka扩展，在命令行中输入php-m看是否有rdkafka
??yy·2020-06-28 04:10

Nodejs Kafka lib安装的坑

准备开始用Kafka，直接用阿里的集群阿里的client是基于node-rdkafka稍微看了下，node-rdkafka直接是在librdkafka做了一层封装，应该效率不错，想起自己封的fastext
RaferYY·2020-06-27 11:09

使用php连接kafka

使用RdkafkaRdkafka是PHP连接kafka的扩展，跟mysqli,redis同理rdkakfka文档地址：https://arnaud.le-blanc.net/php-rdkafka-doc
有想法的工程师·2020-06-25 20:48

KAFKA

rdkafka接口说明原创mfslx发布于2017-12-2617:14:45阅读数5163收藏展开一、主要数据结构1、typedefstructrd_kafka_conf_srd_kafka_conf_t
lusic01·2020-06-24 10:49

pykafka性能比较

最近做了一下pykafka的性能测试，主要涉及到use_greenlets、use_rdkafka、sync这三个参数。
NoneSec·2020-06-24 07:29

php安装rdkafka拓展

rdkafka版本1.0.0适用centos6wgethttps://github.com/edenhill/librdkafka/archive/v1.0.0.zipunzipunzipv1.0.0.
Sunny_Future·2020-06-22 05:48

Kafka快速入门（十一）——RdKafka源码分析

Kafka快速入门（十一）——RdKafka源码分析一、RdKafkaC源码分析1、KafkaOP队列RdKafka将与KafkaBroke的交互、内部实现的操作都封装成Operator结构，然后放入OP
天山老妖S·2020-06-14 20:21

PHP操作Kafka：php-rdkafka扩展的安装

【相关文章】Linux下搭建Kafka服务1、安装librdkafka：librdkafka是ApacheKafka协议的C库实现，提供生产者、消费者和管理客户端。它的设计考虑到了消息传递的可靠性和高性能，当前的数据对于生产者超过100万msgs/秒，对于消费者超过300万msgs/秒。#进入安装包存放目录cd/usr/local/src#克隆安装包gitclonehttps://github.c
李维山·2020-06-08 20:50

Kafka快速入门（十）——C++客户端

Kafka快速入门（十）——C++客户端一、C++API1、数据结构RdKafka::DeliveryReportCb：DeliveryReport回调类RdKafka::PartitionerCb：Partitioner
天山老妖S·2020-06-07 13:45

Librdkafka的基础数据结构 2 --- 定时器 原子操作与引用计数

Timer原子操作引用计数Timer所在文件:sr/rdkafka_timer.c(h)主要是通过TimerManager来管理多个timer,达到处理定时任务的效果TimerManager定义:typedefstructrd_kafka_timers_s
扫帚的影子·2020-03-27 10:20

关于pykafka缺少rdkafka包报错的问题解决方案

程序程序时所报的错误：ImportError:cannotimportname'_rd_kafka'from'pykafka.rdkafka'解决方案：1.卸载pykafkapipuninstallpykafka2
Minusonewly·2020-03-02 14:23

Librdkafka对Kafka Message的封装和相关操作

structrd_kafka_message_tstructrd_kafka_msg_tstructrd_kafka_msgq_tkafkamessage的协议格式可参考官网structrd_kafka_message_s所在文件:src/rdkafka.h
扫帚的影子·2020-02-29 01:15

php 安装 kafka 扩展

地址：https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html安装这个插件有个前提条件，必须先安装librdkafkagitclonehttps
梁天·2020-01-17 15:00

c# rdkafka 设置偏移量(offset)

参考资料：librdkafka:如何设置Kafka消费者订阅消息的起始偏移位置领导要求kafka消费者端消费最新的数据。不知道怎么设置偏移量，查了资料。用惯了封装好的东西，都不知道怎么设置了，看了源代码以及参考资料，才知道自己动手写。varconfig=newConfig{GroupId=UtilityConfig._groupId,EnableAutoCommit=true,Statistics
大稳·杨·2020-01-09 17:00

Librdkafka的操作处理队列

Librdkafka将与kafkabroker的交互,内部实现的一些操作,都封装成operator结构,然后放入操作处理队列里,统一处理;这个队列其实也是一个线程间通讯的管道;围绕这个队列的操作,是rdkafka
扫帚的影子·2019-11-06 18:45

Librdkafka的基础数据结构 3 -- Buffer相关 1

TemporarybufferBuffersegmentBufferBufferslice临时写入缓冲区所在文件:src/rdkafka_buf.h(c)写操作缓冲区,写入时保证了8位内存对齐,以便提高内存读取效率和跨平台的安全性
扫帚的影子·2019-11-04 17:06

Librdkafka用于kafka topic-partition的相关数据结构和操作

rd_kafka_topic_partition_trd_kafka_topic_partition_list_trd_kafka_toppar_srd_kafka_topic_partition_t所在文件:src/rdkafka.h
扫帚的影子·2019-11-01 08:59

Kafka 消息队列的使用

本篇概要：1.消息队列相关概念；2.Kafka消息队列；3.安装Kafka服务；4.安装PHP的Kafka扩展rdkafka；5.编写Kafka的生产者方法；6.编写Kafka的异步消费者方法。
hualaoshuan·2019-10-09 19:29

RdKafka文档翻译

函数stringrd_kafka_err2str(integer$err)将rdkafka错误代码转换为字符串integerrd_kafka_errno2err(integer$errnox)将系统errno
WebLinuxStudy·2019-09-19 10:00

多线程消费一个队列问题

贴代码往队列里push数据voidKafkaConsumer::msgConsume(RdKafka::Message*message,void*opaque){KafkaConsumer::DatacData
终结者X·2019-08-02 11:38

Kafka - PHP 使用 Rdkafka 生产/消费数据

Kafka集群部署安装rdkafkardkafka依赖libkafkayuminstallrdkafkardkafka-develpeclinstallrdkafkaphp--rirdkafkahttp://pecl.php.net/package/r...可以参阅支持的kafka客户端版本生产者连接集群，创建topic，生产数据。setLogLevel(LOG_DEBUG);//链接kafka集
big_cat·2019-03-18 00:00

php rdkafka 扩展安装

/configuremake&&makeinstallln-s/usr/local/lib/librdkafka.so.1/usr/lib/php-5.5.15rdkafka扩展安装wgethttps:
cnazh·2018-12-24 18:44

php rdkafka 扩展的使用

官方说明地址:https://arnaud-lb.github.io/php-rdkafka/phpdoc/book.rdkafka.html里面说的很详细不再赘述，包含安装和demo。
SiegeLionQi·2018-12-21 18:52

依据kafka已配置的分区数量来配置消费者对象数量

本文开发环境：windows10,c#,rdkafka开发库kafka主题的消费者对象数量是个重要指标，消费者数量与主题分区一一对应，如果消费者个数多了，多余的消费者对象不能发挥作用，浪费了系统资源；如果消费者个数少了
牛魔皇·2018-10-01 22:51

PHP 使用 Kafka 安装拾遗

php-rdkafka扩展以PHP扩展的形式进行使用是非常高效的。另外，该项目也提供了非常完备的文档。
honvid·2018-09-07 00:00

librdkafka带鉴权认证访问kafka服务器

简介librdkafka是用c语言实现的一个高性能的kafka客户端，因为性能强大，开发者们基于librdkafka开发了各种语言的kafka客户端，比如librdkafkad(c++),,node-rdkafka
搬瓦工·2018-06-24 00:00

Librdkafka的各种task处理

也可以叫event,也可以叫operator),也就是各种不同类型的operator具体的op如何处理,我们会在后期分析具体的流程时再作深入讨论structrd_kafka_op_s所在文件:src/rdkafka_op.h
扫帚的影子·2018-01-09 11:20

Librdkafka的基础数据结构 4 --- String和ByteArray

下面要介绍的数据类型都是在kafkaprotocol的序列化中使用的KafkaProtocolStringKafkaProtocolByteArrayKafkaProtocolString所在文件：src/rdkafka_proto.h
扫帚的影子·2018-01-07 12:08

php连接kafka

/configure$  make$  sudo make install#安装 rdkafka
无心低语·2017-06-08 11:37

rdkafka 保存offset到本地文件

topicconfig对象设置offset.store.path和offset.store.method2.start函数接受参数OFFSET_STOREDstd::unique_ptrconsumer(RdKafka
sheismylife·2016-06-05 18:00

如何利用pykafka远程消费 zookeeper+kafka集群

rdkafka?0.8.1  No   No0.8.2  Yes   Yes
jastme·2016-03-08 15:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他