kafka2.0

Kafka ACK机制详解笔记

acks=1：等待Leader分区确认，可靠性较高，但Leader故障可能丢数据（Kafka2.0默认值）。acks=all（或-1）：等待所有ISR分区确认，最可靠，但性能较低。
modelsetget·2024-09-02 03:23

kafka3.X基本概念和使用

上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:17

kafka3.X集群安装(不使用zookeeper)

上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:08

kafka2.0 在kerberos 下使用方式

Kafka集成Kerberos之后如何使用生产者消费者命令先执行kinit命令kinit-kt/etc/security/keytabs/kafka.service.keytabhost26@OCDP.COM1、生产者1.1、准备jaas.conf并添加到环境变量1.1.1、使用Kinit方式前提是手动kinit配置内容为：KafkaClient{com.sun.security.auth.mod
杰子_39bf·2023-04-01 16:24

kafka2.0新特性

增强在线可进化性就我个人而言，这几年来学到的最重要的一课，就是要永远保证一个流式数据平台的在线可进化性（online-evolvable）。之前我曾经读到AmazonCTOWernerVogels写过的一篇博客，里面就提到这一点，并且有一个精彩的比喻：搭建一个能够在不断产品升级过程中保证永远在线的数据架构，就像是驾驶着一架简单的单螺旋桨飞机起飞，然后在飞行过程中，不断换新零件和添加新引擎，直到最后
xcardata·2023-03-19 16:43

Oracle GoldenGate12.2安装同步oracle11g至kafka2.0

这篇文章是对https://blog.csdn.net/kkHMou/article/details/115749725补充，部分配置直接沿用了这篇文章下篇文章，StreamSets同步kafka数据至kudu：https://blog.csdn.net/kkHMou/article/details/116931422oracleogg官方最新版本为19.1，旧版本需要到oracle云下载：htt
Mua回眸·2023-03-11 01:18

kafka2.0系列之(6) Kafka客户端API实现数据生产消费

前言发布和订阅是kafka的重要功能之一，而实现这一功能最好的方式可能就是使用kafka提供的客户端进行编码开发，下面使用kafka官方文档进行示例程序实现数据生成消费,Kafka服务使用之间搭建的环境。客户端依赖打开文档页面，API文档将生产者API，消费者API依赖加入maven项目pom.xml文件org.apache.kafkakafka-clients2.2.0ProducerAPICo
牧羊人影视·2020-08-23 02:43

kafka总结

环境kafka2.0概念Partition(分区):一个Topic可以有一个或多个Partition，一个Partion内消息有序Replica(副本):一个分区可以有多个副本(一个消息有多份);AR(
butterfly5211314·2020-08-14 16:42

Kafka2.0生产者客户端源码分析

1KafkaProducer构造器初始化参数配置。初始化记录累加器RecordAccumulator。初始化Kafka连接KafkaClient，发现集群的所有节点加入缓存。初始化实现了Runnable接口的Sender对象，并在ioThread中启动线程。2发送消息执行消息拦截器查询Kafka集群元数据序列化key、value获取分区把消息添加到记录累加器中当batch满了，或者创建了新的bat
weixin_30401605·2020-07-15 03:45

大数据平台CDH6.1.0 安装配置

的cloudera-manager安装一：关于CDH6.1.0的介绍Cloudera在前天12月19日，对外宣布正式发布ClouderaEnterprise6.1包含大数据生态版本如下:1.组件版本：Kafka2.0
weixin_34195546·2020-06-28 13:52

[Flume基础]-- 使用Kafka与Flume

二、条件在CDH5.7及更高版本中，Kafka的Flume连接器仅适用于Kafka2.0及更高版本。三、要点不要配置Kafka源以将数据发送到Kafka接收器。
highfei2011·2020-06-23 14:06

Kafka2.0消费者客户端源码分析

1KafkaConsumer构造器初始化参数配置。初始化消费者网络客户端ConsumerNetworkClient。初始化消费者协调器ConsumerCoordinator初始化拉取器Fetcher2订阅主题调用订阅方法subscribe()、assign()会将订阅信息记录到SubscriptionState，多次订阅会覆盖旧数据。如果元数据缓存Metadata不包含订阅的主题，则设置needU
O_Neal·2019-07-16 21:12

大数据平台CDH6.1.0 安装配置

的cloudera-manager安装一：关于CDH6.1.0的介绍Cloudera在前天12月19日，对外宣布正式发布ClouderaEnterprise6.1包含大数据生态版本如下:1.组件版本：Kafka2.0
flyfish225·2019-02-15 20:37

kafka-broker默认配置详情（kafka2.0版本,数据来源于kafka官网）

配置参数名参数详细描述参数值类型参数默认值VALIDVALUESIMPORTANCEDYNAMICUPDATEMODEzookeeper.connectZookeeperhoststringstringhighread-onlyadvertised.host.nameDEPRECATED:onlyusedwhenadvertised.listenersorlistenersarenotset.Us
Felix_CB·2018-12-24 18:15

Docker搭建Kafka集群

Docker镜像选型wurstmeister/kafka特点：dockerhubstar数最多，版本更新到Kafka2.0，zookeeper与kafka分开于不同镜像。
华阳_3bcf·2018-10-02 11:05
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他