分布式消息系统kafka

在Python中使用Kafka帮助我们处理数据

Kafka是一个分布式的流数据平台，它可以快速地处理大量的实时数据。Python是一种广泛使用的编程语言，它具有易学易用、高效、灵活等特点。
测试萧十一郎·2023-12-19 22:47

Kafka 基础架构

从宏观角度上讲，Kafka大体分为三个角色：生产者，Kafka集群，消费者。
zmx_messi·2023-12-19 18:48

Kafka 数据乱序

原因说明：因为在kafka1.x以后，启用幂等后，kafka服务端会缓存producer发来的最近5个request的元数据，故无论如何，都可以保证
zmx_messi·2023-12-19 18:48

Kafka Broker总体工作流程

上面是Zookeeper集群，下面是Kafka集群，两个集群通信：1）每台KafkaBroker节点启动之后，都会向Zookeeper进行注册，告诉他，我开启了。
zmx_messi·2023-12-19 18:48

@KafkaListener 注解配置多个 topic

见如下示例主要见@KafkaListener中topics属性的配置其中${xxxx.topic1}为从springBoot配置文件中读取的属性值@KafkaListener(topics={"${xxxx.topic1
极光雨雨·2023-12-19 18:18

Kafka中Ack应答级别和数据去重

在Kafka中，保证数据安全可靠的条件是：数据完全可靠条件=ACK级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2；Ack应答级别可靠性总结：acks=0，生产者发送过来数据就不管了
zmx_messi·2023-12-19 18:17

Kafka消息延迟和时序性详解（文末送书）

目录一、概括1.1介绍Kafka消息延迟和时序性1.1.1什么是Kafka消息延迟？1.1.2为什么消息延迟很重要？1.1.3什么是Kafka消息时序性？
哪 吒·2023-12-19 17:15

Kafka 分级存储在腾讯云的实践与演进

导语腾讯云消息队列Kafka内核负责人鲁仕林为大家带来了《Kafka分级存储在腾讯云的实践与演进》的精彩分享，从Kafka架构遇到的问题与挑战、Kafka弹性架构方案类比、Kafka分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了
腾讯云中间件·2023-12-19 13:34

Kafka 安装与部署

目录Kafka下载（1）将kafka_2.11-2.4.1.tgz上传至/opt/software/（2）解压安装包至/opt/module/[huwei@hadoop101~]$cd/opt/software
夏木夕·2023-12-19 12:05

消息队列kafka详解：Kafka原理分析总结

目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。
码农小旋风·2023-12-19 11:43

Kafka--从Zookeeper数据理解Kafka集群工作机制

从Zookeeper数据理解Kafka集群工作机制这一部分主要是理解Kafka的服务端重要原理。但是Kafka为了保证高吞吐，高性能，高可扩展的三高架构，很多具体设计都是相当复杂的。
长情知热爱·2023-12-19 09:43

【ranger】CDP环境 更新 ranger 权限策略会发生低概率丢失权限策略的解决方法

一、问题描述：我们的kafka服务在更新（添加）ranger权限时，会有极低的概率导致MM2同步服务报错，报错内容NotAuthorized。
kiraraLou·2023-12-19 08:32

Elasticsearch集群部署 head监控插件 Kibana部署 Nginx反向代理 Logstash部署

一、组件介绍1、Elasticsearch：2、Logstash3、Kibana4、Kafka：5、Filebeat:二、Elasticsearch集群部署服务器创建用户安装ES修改配置文件创建数据和日志目录设置
火腿炒馕·2023-12-19 07:59

手动配置 kafka 用户密码，认证方式等的方式

场景部分场景会指定使用某一kafka来提高安全性，这里就不得不使用用户密码认证方式等来控制方法示例//手动加载配置信息privateMapconsumerConfigs(){Mapprops=newHashMap
极光雨雨·2023-12-19 06:48

win环境下启动kafka Port already in use: 6688； nested exception is

背景zk启动成功后，接下来启动kafka，再启动kafka后一直说端口被占用。
小赖同学啊·2023-12-19 06:23

2023_Spark_实验二十六：编写Shell模拟生成点击实时数据

实验步骤：1、选择集群中的一台虚拟机，最好和flume/kafka等在同一台，在该虚拟机的合适
pblh123·2023-12-19 05:29

2023_Spark_实验二十九：Flume配置KafkaSink

实验目的：掌握Flume采集数据发送到Kafka的方法实验方法：通过配置Flume的KafkaSink采集数据到Kafka中实验步骤：一、明确日志采集方式一般Flume采集日志source有两种方式：1
pblh123·2023-12-19 05:54

【Python系列】Python函数

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-19 04:33

60道KafKa高频题整理（附答案背诵版）

废话不多说，直接上干货简述什么是Kafka的Topic？Kafka的Topic是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到Kafka集群的消息都有一个类别，这个类别就是Topic。
帅地·2023-12-19 04:17

14、Kafka 请求是怎么被处理的

Kafka请求是怎么被处理的1、处理请求的2种常见方案1.1、顺序处理请求1.2、每个请求使用单独线程处理2、Kafka是如何处理请求的？
cjh-Java·2023-12-19 04:17

13、Kafka副本机制详解

Kafka副本机制详解1、副本定义2、副本角色3、In-syncReplicas（ISR）4、Unclean领导者选举（UncleanLeaderElection）所谓的副本机制（Replication
cjh-Java·2023-12-19 04:16

12、Kafka中位移提交那些事儿

Kafka中位移提交那些事儿1、自动提交位移2、手动提交位移2.1、同步提交位移2.2、异步提交位移2.3、更精细化的位移管理Consumer端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是
cjh-Java·2023-12-19 04:16

kafka同步mysql数据报Possibly consider using a shorter maxLifetime value.

目前有需求是在两个mysql数据库间同步数据，采用的方案是先利用maxwell将源数据库的log_bin日志传到kafka，再从kafka消费到目的数据库，但最近发现日志中总是报这么个warn:[13:
lucas1018·2023-12-19 03:29

kafka介绍

设计原理kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力。
海若Hero·2023-12-19 02:53

3002-Redis多数据中心

数据中心：容灾、就近访问、性能Redis异地同步：保证AP；无法进行全量同步（单线程）、无法去环（源实例ID+timpstamp）、可扩展性；快手自研的客户端+Kafka自研客户端Reader代理层监听
红苹果_小米粒·2023-12-19 01:30

09-Pub/Sub

Subscription关于ChannelEventing中的ChannelCRD负责定义名称空间级别的消息总线它的后端要基于特定的实现，如In-MemoryChannel（简称imc）、NATSChannel或KafkaChannel
爱写代码的小男孩·2023-12-18 23:35

【Flink-Kafka-To-RocketMQ】使用 Flink 自定义 Sink 消费 Kafka 数据写入 RocketMQ

【Flink-Kafka-To-RocketMQ】使用Flink自定义Sink消费Kafka数据写入RocketMQ1）准备环境2）代码实现2.1.主程序2.2.conf2.2.1.ConfigTools2.3
bmyyyyyy·2023-12-18 23:19

Kafka

1.请简述Kafka的基本架构和工作原理。Kafka是一个分布式发布-订阅消息系统，主要用于建立实时数据管道和流应用。它是水平可扩展的、容错的、快速的，并在数千家公司的生产中运行。
编织幻境的妖·2023-12-18 22:10

【中间件】ElasticSearch在Java中的调用尝试

ElasticSearchElasticSearch的两个主要功能：全文检索形成ELK集群，进行日志检索（ElasticSearch、LogStash、Kibana）日志采集（服务器、移动设备、IOT传感器）->数据传输汇聚（Kafka
清河__·2023-12-18 21:59

Flink系列之：Table API Connectors之Raw Format

这样在upsert-kafka中使用时可能会有限制，因为upsert-kafka将null值视为墓碑消息（在键上删除）。因
最笨的羊羊·2023-12-18 21:23

认识Apache Bookkeeper

Bookkeeper有一个非常成功的应用案例：apachepulsar，是近年雅虎开源的一个MQ，pulsar相对于kafka来说，在存储上有优势，kafka的单个partition的存储容
无醉_1866·2023-12-18 19:27

香！阿里微服务手册开源，内容涵盖SpringBoot+SpringCloud+MQ等诸多技术栈

涵盖了当下使用和面试过程中的流程技术，包含了：SpringBoot,Thymeleaf、Jetty、Redis整合、C3P0整合、Druid整合、MyBatis整合、ActiveMQ整合、RabbitMQ整合、Kafka
Java全能架构师·2023-12-18 19:18

笔记：kafka、kafka-connector环境搭建及Kafka基本命令

安装kafka（Ubuntu16.04）：wgethttps://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz安装jdksudoapt-getinstallopenjdk
爷一隐居青楼·2023-12-18 18:04

消息队列系列4 - 原理初探之RocketMQ（荣耀典藏版）

RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里参考Kafka特点研发的一个队列模型的消息中间
海棠Flower未眠·2023-12-18 16:39

spring-kakfa依赖管理之org/springframework/kafka/listener/CommonErrorHandler错误

问题：整个项目使用spring-boot2.6.8版本，使用gradle构建，在common模块指定了implementation'org.springframework.kafka:spring-kafka
russle·2023-12-18 15:52

【剪映】点滴剪时光

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-18 15:17

单日30PB量级！火山引擎ByteHouse云原生的数据导入这么做

在分享中，火山引擎ByteHouse技术专家以Kafka和物化MySQL两种实时导入技术为例，介绍了ByteHouse的整体架构演进以及
字节数据平台·2023-12-18 14:39

wsl kafka的简单应用

安装并配置单机版kafka所需环境wsl2环境可用性较高，如下介绍在该环境中安装单机版本kafka的详细过程。
metabit·2023-12-18 14:57

3、电商数仓（数仓数据同步策略）

实时数仓同步数据实时数仓由Flink源源不断从Kafka当中读数据计算，所以不需要手动同步数据到实时数仓。
tianyi6_6·2023-12-18 14:46

Flink电商实时数仓项目03-DWM层

1DWM层与DWS层的设计思路1.1设计思路用户行为日志：模拟日志jar->nginx->web日志服务器->kafka(ods_base_log)->flink(BaseLogApp
最佳第六六六人·2023-12-18 14:45

Flink电商实时数仓项目04-DWS层

ODS层:--日志数据：nginx+日志采集服务器(3台)将数据采集到Kafka(ods_base_log)--业务数据：Maxwell监控MySQL(binlog)将数据
最佳第六六六人·2023-12-18 14:45

大数据Flink电商实时数仓实战项目流程全解(五）

前提概要：之前我们已经实现了动态分流，即通过TableProcessFunction1类把维度数据和事实数据进行了分流处理，接下来就是把数据写入Hbase表和Kafka主题表中：hbaseDS.addSink
大数据YYDS·2023-12-18 14:44

Flink实时电商数仓（一）

核心架构日志服务器：采集日志文件Kafka集群：消息缓存HDFS存储：即hadoop集群Hive分层数仓：ODS+
十七✧ᐦ̤·2023-12-18 14:14

Kafka本地安装⭐️(Windows)并测试生产消息以及消费消息的可用性

2023.12.17天气晴温度较低十点半，不是不想起实在是阳光浴太nice了日常三连，喂，刷，肝刷会儿博客，看会儿设计模式冷冷冷进被窝刷视频睡觉看看kafka的本地部署》》实践》》成功写会儿博客，45俯卧撑
键盘不能没有CV键·2023-12-18 12:25

【算法Hot100系列】盛最多水的容器

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-18 12:51

寻找内心，与己对话

“—FranzKafka,Writer「上帝给我们坚果，但不会为我们敲开外壳。」–法兰兹‧卡夫卡(作家)每天都在日复一日的过着，今天的你比昨天的你成长了一些呢？
Do_yourself·2023-12-18 12:56

Hyperledger Fabric 1.4 特性调研之Raft共识（一）

适用场景Raft作为Fabric新支持的共识模式，可以替代以往的Kafka共识模式，并且配置更简单，更能体现去中心化特性。在多组织多channel
RaeSnow·2023-12-18 11:56

数据科学知识库

我的博客是一个技术分享平台，涵盖了机器学习、数据可视化、大数据分析、数学统计学、推荐算法、Linux命令及环境搭建，以及Kafka、Flask、FastAPI、Docker等组件的使用教程。
数据科学知识库·2023-12-18 11:02

Kafka相关知识

一、kafka架构Kafka基础知识Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于
xmh-sxh-1314·2023-12-18 10:46

程序员深度学习！让阿里面试官都赞同不已的Spring解读！技术详细介绍

一、对Kafka的认识1.Kafka的基本概念2
爱看动漫的Java程序员·2023-12-18 10:25
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他