python-kafka

解决celery与kafka的联用问题

0X02问题使用confluent_kafka或python-kafka模块向kafka生产数据，本地调试时代码可以正常生产消息，但是套上celery后，kafka就无法将新消息生产到topic队列中了
LzSkyline·2024-01-20 15:25

Windows11搭建kafka-python环境

文章目录安装软件javazookeeperkafka命令行调试环境python-kafka环境参数解释名词解释定义基础架构同步发送、异步发送消息队列的两种模式消费者与消费组幂等性文件清理策略kafka消费模式
安替-AnTi·2023-10-28 22:15

python-kafka客户端封装

目录前言封装代码测试代码参考前言本文对python的kafka包做简单封装，方便kafka初学者使用。包安装：pipinstallkafka-python封装代码kafka_helper.py#!/usr/bin/envpython#-*-coding:utf-8-*-importjsonimporttracebackfromkafkaimportKafkaConsumer,KafkaProduc
lady_killer9·2023-09-13 13:00

使用Python操作Kafka(Windows中)

1.在使用Python操作kafka之前，需要安装第三方模块python-kafka(在windows命令窗口)win+r--->输入cmd然后回车（或者在搜索那里直接输入cmd然后回车）会出现一个小黑窗输入命令
瑾寰·2023-08-25 09:44

Python集成kafka收集logging日志

Python集成kafka主要用到python-kafka和pyKafka，先简单介绍下两者的使用方式。
雨欲语·2023-08-23 06:19

Python kafka 操作 带SASL鉴权

python-kafka不支持SASL_PLAINTEXT，SCRAM-SHA-256，所以选择confluent_kafka客户端fromconfluent_kafkaimportConsumer,KafkaErrortopic_name
Sunnky·2023-04-17 08:26

python-kafka学习笔记（二）：kafka配置与传输大文件失败解决

引言本篇主要想总结一下关于kafka的基本操作，以及当时遇到的一个问题，想要传超过1M以上的信息通过队列。kafka的基本操作--创建bin/kafka-topics.sh--create--zookeeper192.168.1.229:2181--replication-factor1--partitions1--topichello-topic-12--查看bin/kafka-topics.s
submarineas·2021-02-09 20:47

python-kafka 常用 api 汇总

简介python连接kafka的标准库，kafka-python和pykafka。kafka-python使用的人多是比较成熟的库，kafka-python并没有zk的支持。pykafka是Samsa的升级版本，使用samsa连接zookeeper，生产者直接连接kafka服务器列表，消费者才用zookeeper。安装#PyPI安装pipinstallkafka-python#conda安装con
奔跑的大西吉·2020-11-02 18:27

Python-kafka操作

文章目录0.kafka的特点1.配置windows环境2.producer向broker发送消息格式化发送的信息3.consumer消费数据4.group_id解释5.遇到的bug0.kafka的特点消息系统的特点：生存者消费者模型，先入先出（FIFO）•高性能：单节点支持上千个客户端，高吞吐量零拷贝技术分布式存储顺序读顺序写批量读批量写•持久性：消息直接持久化在普通磁盘上，且性能好•分布式：数据
王大阳_·2020-08-15 00:19

Python3学习（二十二）：Python KafkaProducer and KafkaConsumer的开发模块

在python中往kakfa写数据和读取数据,使用的是python-kafka库消费者需持续写入数据，因groupid存在偏移量，才能看看到数据。
猪笨是念来过倒·2020-08-14 23:24

kafka基本命令，python-kafka使用

1.启动nohupkafka-server-start/usr/local/etc/kafka/server-1.properties&2.查看消费者kafka-console-consumer--bootstrap-serverlocalhost:9092--topictest--from-beginning3.描述kafka-topics--describe--bootstrap-server
weixin_34356310·2020-07-12 09:57

kafka python

python-kafka参考：https://blog.csdn.net/see_you_see_me/article/details/78468421pythonkafka的api的基本操作：https
lshan·2019-10-09 22:00

python-kafka源码解析之socketpair

socket基本操作包括:socket()函数创建socket文件描述符,唯一标识一个socket。bind()函数,将ip:port和socket绑定listen()函数来监听这个socket,假如客户端connect这个套接字,服务器端就回接收到这个连接请求。connect()函数用于和服务端建立连接accept()函数,服务端经过bind和listen,并且客户端connect后,服务端用a
killianxu·2019-06-24 08:00

kafka基本命令，python-kafka使用

1.启动nohupkafka-server-start/usr/local/etc/kafka/server-1.properties&2.查看消费者kafka-console-consumer--bootstrap-serverlocalhost:9092--topictest--from-beginning3.描述kafka-topics--describe--bootstrap-server
小白的希望·2019-04-23 16:56

Win10 环境python-Kafka中文乱码问题解决

Kafka为了保证传输效率，消息传输使用二进制传输，而支持中文的使用最广泛的编码方式为UTF-8。因此解决这个问题的思路如下：在productor中使用UTF-8的方式编码，在consumer中使用UTF-8解码。示例如下：1productor：在代码最前端加入编码声明#-*-coding:utf-8-*-PS：在这里要对kafka的异步机制提出一点异议：在同一个大网内的服务器和客户端，存在客户端
darkeyers·2018-09-27 15:13

Kafka

logstash联合python-kafka进行异常数据监控报警http://xiaorui.cc/2015/04/05/logstash%E8%81%94%E5%90%88python-kafka%E8%
规格严格-功夫到家·2016-03-30 16:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他