kafka配置优化

zookeeper+kafka+ELK+filebeat集群

zookeeper工作机制：2、zookeeper主要作用：3、zookeeper特性：4、zookeeper的应用场景：5、领导者和追随者：zookeeper的选举机制二、zookeeper安装部署：三、消息队列：kafka1
koeda1（粉丝冲刺一个亿）·2023-12-04 07:11

03 数仓平台 Kafka

kafka概述定义Kafka是一个开源的分布式事件流平台（EventStreamingPlantform），主要用于大数据实时领域。
kk_io·2023-12-04 04:17

调度中心集群参考

总体思路利用kafka单播模式：开启一个定时任务利用kafka广播模式：关闭某个定时任务实现代码WcsTimerManager类packagecom.isoftstone.hig.wmsck.adapters.jd.common.timermanager
PeepSoul·2023-12-04 04:05

Maxwell数据库数据采集-大数据week12-DAY1-Maxwell

数据库数据实时采集1、Maxwell简介2、MysqlBinlog介绍2.1Binlog简介2.2Binlog的日志格式3、Mysql实时数据同步方案对比4、开启Mysql的Binlog5、Maxwell安装部署6、kafka
低调的小哥哥·2023-12-04 02:44

zookeeper集群+kafka集群

Kafka3.0之前依赖于zookeeperZookeeper开源，分布式的架构，提供协调服务（apache项目）基于观察者模式设计的分布式服务管理架构存储和管理数据，分布式节点上的服务接受观察者的注册
2301_79410672·2023-12-04 02:08

Kafka原理深入解析

前言为什么要学习使用kafka？kafka到底能够为我们的系统来带什么？带着问题，我们才能去思考，去尝试寻找解决的方案。
MaAidan·2023-12-04 00:52

Kafka 集群增加节点（Broker）

初始化新节点准备三台新节点，分别安装相同版本kafka应用，并复制原集群配置进行修改。启动三台节点观察是否加入集群成功。迁移topic分区查看topic在哪些分区上sh.
天空海阔linan·2023-12-03 23:38

Kafka __consumer_offsets 占用磁盘空间过大处理

下班后接到线上告警，Kafka磁盘空间超过80%；急需处理；真开心呀首先登录机器查看Kafka日志目录，定位到__consumer_offsets分区文件占用71G数据，历史文件未清除；原因Kafka中用于保存消费者消费位移的主题
天空海阔linan·2023-12-03 23:37

初识RocketMQ

1、简介RocketMQ是阿里巴巴在2012年开源的消息队列产品，用Java语言实现，在设计时参考了Kafka，并做出了自己的一些改进，后来捐赠给Apache软件基金会，2017正式毕业，成为Apache
清爽的暗之妖刀0369·2023-12-03 23:22

Kafka Eagle 可视化工具简单介绍

KafkaEagle可视化工具作用：监控Broker、Topic、Consumer、Cluster、Zookeeper、ConsumerGroups、Metrics（指标统计）等相关信息。
笔头还没烂·2023-12-03 21:37

Zookeeper集群+kafka集群

Zookeeper集群+kafka集群：Kafka3.0之前依赖于zookeeperzookeeper是一个开源分布式的架构，提供协调服务（Apache项目）基于观察者模式涉及的分布式服务管理架构主要作用是
wutong0708·2023-12-03 20:27

初识scala

为什么要用scala大数据很多框架是用scala写的，如：saprk、kafka、flink代码简洁多范式：面向对象编程（抽象现实世界）和函数式编程（编程简洁）兼容java环境并发模式使用Actor，可以简化编程
松松土_0b13·2023-12-03 18:19

kafka到hbase API

QQ图片20200511215405.pngimportjava.utilimportcom.ybq.consumer.myutils.{ConnectionInstance,HbaseUtil,PropertiesUtil}importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase.{HBaseConfigura
故里良田·2023-12-03 16:37

大数据基础设施搭建 - 业务数据同步策略

梳理需要全量同步的业务表1.2Sqoop:MySQLToHDFS1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表2.2Maxwell:MySQLToKafka2.2.1
m0_46218511·2023-12-03 16:42

聊聊 Kafka：Producer 源码解析

一、前言前面几篇我们讲了关于Kafka的基础架构以及搭建，从这篇开始我们就来源码分析一波。
老周聊架构·2023-12-03 16:47

flink+kafka的端到端一致性

上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。
另存為·2023-12-03 14:03

阿里面试：分析为什么B+树更适合作为索引的结构以及索引原理

mysql的B+树索引查找使用了二分查找，redis跳表也使用了二分查找法，kafka查询消息日志也使用了二分查找法，二分查找法时间复杂度O(logn);在MySQL中，主要有四种类型的索引，分别为：B-Tree
倾听铃的声·2023-12-03 13:43

kafka架构师4-图解kafka源码2

1.1.如何处理响应消息？0；11：00~0；30：00上节内容NetworkClient.poll方法response.request().callback().onComplete(response);Sender#completeBatch方法里面：//TODO核心代码把异常的信息也给带过去了//我们刚刚看的就是这儿的代码//里面调用了用户传进来的回调函数//回调函数调用了以后//说明我们的
fat32jin·2023-12-03 13:46

大数据技术之Kafka：一篇文章带你学会Kafka

大数据技术之Kafka：一篇文章带你学会Kafka第1章Kafka概述1.1消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，
星川皆无恙·2023-12-03 13:29

docker启动kafka failed to update metadata after %s sec

原因分析设置kafka连接max_block_ms是否太小，连接超时遇到的问题解决kafka连接问题，需要在kafkayml文件或启动命令中添加inside和outside配置，如下图示例：environment
one_8274·2023-12-03 12:18

2023_Spark_实验二十三：Kafka的安装与基本操作

Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考：zookeeper单机安装与配置集群可参考：zookeeper的集群安装二
pblh123·2023-12-03 12:17

Kafka常用术语

名词解释Broker节点：一个Kafka节点就是一个Broker，一个和多个Broker可以组成一个Kafka集群Topic主题：Kafka根据Topic对消息进行归类，发布到Kafka集群的每套消息都需要指定一个
xuxigifxfh·2023-12-03 09:48

消息对列MQ

消息队列优点1.实现系统解耦2.实现异步调用3.流量削峰缺点1.系统可用性降低2.提高系统的复杂度3.数据一致性问题Kafka概述一个分布式消息发布订阅系统，一个分布式的日志提交系统。
xuxigifxfh·2023-12-03 09:18

Kafka常见面试题

如何防止消息丢失？发送端：ack设置为-1或副本数，默认副本全部同步才会认为发送成功接收端：对接收到的数据进行备份，定期进行检查对执行失败的数据重新执行；选择手动提交offset，对执行失败的数据不提交offset。如何防止消息的重复消费？在消费者端对数据进行幂等校验，禁止一定时间内出现相同含义的数据；或添加分布式锁。如何做到顺序消费？对获取到的数据进行再次排序如何解决消息积压的问题？1.添加新的
xuxigifxfh·2023-12-03 09:45

（四）Kafka 消费者

文章目录1.Kafka消费者相关概念消费者和消费者组（1）横向伸缩消费者（2）横向伸缩消费者组分区再平衡再均衡的类型（1）主动再均衡（2）协作再均衡（增量再均衡）分配分区的过程群组固定成员2.创建Kafka
你那是什么调调·2023-12-03 09:28

Apache Kafka 是什么

Kafka是基于发布与订阅的消息系统。Kafka是一个分布式的，可分区的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka的主要特点1、同时为发布和订阅提供高吞吐量。
向梦而来·2023-12-03 08:11

Zookeeper集群 + kafka集群

Zookeeper集群+Fafka集群----------------Zookeeper----------------Zookeeper概述//Zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。//Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据
Lachewuxian·2023-12-03 07:01

Kafka（六）利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中

文章目录背景解决方案场景一场景二场景三CDC-ChangeDataCapture如何解决上述问题CDC工作原理KafkaConnect和Debezium简单介绍场景二的例子，将Oracle数据库的数据通过
JackSparrow414·2023-12-03 07:01

Doris 数据导入三：Routine Load 方式

1适用场景当前仅支持从Kafka系统进行例行导入，使用限制：（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。（2）支持的消息格式为csv,json文本格式。
shangjg3·2023-12-03 06:01

Rabbitmq笔记

不同服务之间的响应时间不同，导致服务器之间会进行等待，使用mq获取服务的消息）MQ分类ActiveMQ：优点：单机吞吐量万级，时效性ms级，可用性高，基于主从架构实现可用性高没消息可靠性较低的概率丢失数据Kafka
相见不如相离·2023-12-03 06:59

Kafka-12.设计-配额

Kafka集群能够对请求实施配额，以控制客户端使用的broker资源。
悠扬前奏·2023-12-03 04:40

Golang kafka简述和操作（sarama同步异步和消费组）

一、Kafka简述1.为什么需要用到消息队列异步：对比以前的串行同步方式来说，可以在同一时间做更多的事情，提高效率；解耦：在耦合太高的场景，多个任务要对同一个数据进行操作消费的时候，会导致一个任务的处理因为另一个任务对数据的操作变得及其复杂
呆呆不呆丫·2023-12-03 02:45

【SpringCloud系列】@FeignClient微服务轻舞者

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-02 22:43

zookeeper集群+kafka集群

zookeeper集群+kafka集群：kafka在3.0之前要依赖zookeeper集群zookeeper是一个开源分布式的架构，提供协调服务（apach项目）基于观察者模式涉及的分布式管理架构。
weixin_51694382·2023-12-02 20:45

消息中间件介绍

当今市面上有很多主流的消息中间件，如ActiveMQ、RabbitMQ，Kafka，还有阿里巴巴自主开发RocketMQ等。消息中间件的定义目前业界对消息中间件没有统一的定义标准。
xmh-sxh-1314·2023-12-02 20:14

zookeeper集群+kaafka集群

kafka3.0之前依赖于zookeeperzookeeper开源，分布式的架构，提供协调服务（Apache项目）基于观察者模式涉及的分布式服务管理架构存储和管理数据，分布式节点上的服务接受观察者的注册
小布.792·2023-12-02 20:10

SRS 直播系统使用中发现延迟过大

示意图如下：image.png查找了网上的相关资料，排除网络问题，就是缓存开销等原因，通过对SRS系统进行配置优化。
南方牧羊人·2023-12-02 20:33

Hdoop学习笔记（HDP）-Part.19 安装Kafka

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:15

Flink系列：使用Debezium将MySQL数据库表数据采集到Kafka Topic，并将Kafka Topic数据同步到StarRocks数据库

Flink系列：使用Debezium将MySQL数据库表数据采集到KafkaTopic，并将KafkaTopic数据同步到StarRocks数据库在本篇文章中，我们将介绍如何使用ApacheFlink、
代码指四方·2023-12-02 18:36

探究Kafka原理-7.exactly once semantics 和 性能测试

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成2023
爱吃芝士的土豆倪·2023-12-02 16:07

删除kafka指定topic下数据

/bin/kafka-configs.sh--zookeeperlocalhost:2181--entity-typetopics--entity-nameMARC_INSTANCE_SYNC--alter
斜月三·2023-12-02 15:48

Kafka - 新消费者

Kafka-新消费者一、数据来源数据使用上一个博文所配置的Flume，将文本数据写入到Kafka中。不过这次有所改变，数据的监控目录有所改变，写入的Kafka的主题名也变更为A25。
寒沧·2023-12-02 15:37

Kafka详解（中）——Kafka客户端操作

3-1shell列举kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下：脚本名称用途描述connect-distributed.sh连接kafka集群模式connect-standalone.sh
98seven·2023-12-02 13:30

Apache Kafka 3.0 发布——移除zookeeper如何启动Kafka

在Kafka2.8之前，Kafka强依赖zookeeper，2.8版本之后Kafka可以采用KRaft（KafkaRaft）模式，逐步去除对zookeeper的依赖。
98seven·2023-12-02 13:00

【kafka实践】08｜消费者组

用一句话概括就是：ConsumerGroup是Kafka提供的可扩展且具有容错性的消费者机制。
叁戒·2023-12-02 12:14

【kafka实践】10｜消费者重平衡

消费者组这一章节中提到过重平衡Rebalance，Rebalance就是让ConsumerGroup下所有的Consumer实例就如何消费订阅主题的所有分区达成共识的过程。在Rebalance整个过程中，所有实例都不能消费任何消息，因此它对Consumer的TPS影响很大。在整个重平衡过程中，是在协调者Coordinator得参与下完成的，它专门为ConsumerGroup服务，负责执行Rebal
叁戒·2023-12-02 12:14

支持Upsert、Kafka Connector、集成Airbyte，Milvus助力高效数据流处理

Milvus已支持Upsert、KafkaConnector、Airbyte！在上周的文章中《登陆Azure、发布新版本……Zilliz昨夜今晨发生了什么？》
Zilliz Planet·2023-12-02 12:12

CKafka 一站式搭建数据流转链路，助力长城车联网平台降低运维成本

关于长城智能新能源长城汽车是一家全球化智能科技公司，业务包括汽车及零部件设计、研发、生产、销售和服务，旗下拥有魏牌、哈弗、坦克、欧拉及长城皮卡。2022年，长城汽车全年销售1,067,523辆，连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务，加速向全球化智能科技公司进阶，智能化车型渗透率达86.17%，车联网作为智能化两大应用方向之一，在这个过程中快速发展。长城车联网平台涵盖
腾讯云中间件·2023-12-02 12:41

【kafka实践】09｜消费者位移

这使得KafkaBroker不需要保存位移数据，减少了Broker端需要
叁戒·2023-12-02 12:41

Apache HBase内核深度剖析

摘要前面一篇文章介绍了Kafka的具体内容，今天讲述一下HBase相关的知识。
ThoughtWorks·2023-12-02 11:22
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他