kafka-

实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）

目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言1.启动flinksql2.建kafka表3.读kafka的数据写入到kafka4.写入到iceberg4.1创建hivecatalog从kafka
*星星之火*·2023-04-14 03:18

kafka-存储原理-机制、结构及底层原理

我们知道Kafka中的消息是存储在磁盘上的，那么为什么要使用磁盘作为存储介质？具体消息的存储格式又是什么呢？怎么样能够快速检索到指定的消息？消息不可能无限制存储，那么清理规则又是什么呢？1.1Kafka-存储机制、结构log.dirs=/usr/local/var/lib/kafka-logskafka使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个offset值来表示它在分区中的偏
邋遢-大王·2023-04-12 21:18

springboot集成整合kafka-批量消费、并发消费

写在前面：各位看到此博客的小伙伴，如有不对的地方请及时通过私信我或者评论此博客的方式指出，以免误人子弟。多谢！由于Kafka的写性能非常高，因此肯定会碰到Kafka消息队列拥堵的情况。遇到这种情况，我们可以通过并发消费、批量消费的方法进行解决。之前配置生产者我没有在yml文件中直接配置，而是新建了一个配置类，在配置类中配置生产者，这样确实有点麻烦了，所以消费者就直接在yml进行配置了。先看下批量消
卡_卡_西·2023-04-10 08:39

Kafka-高性能的分布式消息队列

文章目录参考前言一简介二架构1zookeeper在kafka集群中的作用1.1Broker注册1.2Topic注册1.3生产者负载均衡1.4消费者负载均衡1.5分区与消费者的关系1.6消息消费进度Offset记录1.7消费者注册2kafka如何保证数据的可靠性和一致性3kafka的数据丢失问题4kafka的ISR机制5kafka的数据存储结构5kafka的Producer消息发送如何指定topic
zcswl7961·2023-04-09 23:43

深入浅出kafka-消费者相关原理

1、消费组概念32}0:72、偏移量工具35}0：15kafkaOffsetMonitor-assembly-0.3.03、感知消费异常36}0：14heartbeat.interval.ms故障后通过心跳下发rebanlence指令session.timeout.mskafka多长时间感知不到就认为故障，默认10smax.poll.interval.ms两次poll间隔超时会任务这个consum
肥猫64·2023-04-08 04:20

深入浅出kafka-生产者相关原理

1生产者如何提升吞吐量26}0：10发送原理图1、buffer.memory设置缓冲区默认32M2、compression.type默认none，可以设置为lz4，会加大producer发送端cpu开销3、batch.size默认16K，可以到32k，配合linger.ms加到100毫秒4、异步发送2生产者异常处理27}0：7LeaderNotAvailableException某台机器挂了或者重
肥猫64·2023-04-08 04:49

kafka面试题知识点整理

kafka-面试题整理刚刚学了kafka，整理一些面试题知识点，帮助记忆1、什么是kafka2、什么是消息队列3、kafka通信流程4、Leader选举流程5、副本及同步原理6、消费者消费数据的方式7、
干饭的猪·2023-04-05 11:36

第 13 篇 : 安装Kafka-集群

说明因为目前SpringBoot只支持到2.8.1,所以kafka集群以2.8.1版本搭建,且kafka3.0.0已开始弃用Java8…1.清除160机器的历史数据1.1删除日志rm-rf/tmp/kafka-logsrm-rf/usr/local/src/kafka_2.13-3.0.0/ls1.2进入Zookeeper客户端,删除掉历史的brokersdeleteall/brokers2.依次
哼唧兽0921·2023-03-31 07:14

Kafka-生产者-BufferPool

注：本文依赖于kafka-0.10.0.1-src我们都知道kafka生产者send一条记录(record)后并没有直接发送到kafka服务端，而是先将它保存到内存(RecordAccumulator)中，用于压缩之后批量发送，这里内存的创建和释放是比较消耗资源的，为了实现内存的高效利用，基本上每个成熟的框架或者工具都有一套内存管理机制，kafka的生产者使用BufferPool来实现内存(Jav
闫文亮304·2023-03-31 00:08

org.apache.kafka.common.errors.TimeoutException:Topic xxx not present in metadata after 60000ms.

窗口1：执行发送消息命令bin/kafka-
爬台阶的蚂蚁·2023-03-11 21:23

2020-07-24 Kafka-大解析

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处理为什
奇妙林林·2023-03-11 19:27

Spark综合学习笔记（十六）SparkStreaming整合Kafka-代码实现3-手动提交偏移量到MYSQL

学习致谢：https://www.bilibili.com/video/BV1Xz4y1m7cv?p=50需求：手动提交偏移量到MYSQL代码实现（1）SparkStreaming_Kafka_Demo03packagestreamingimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.comm
斯特凡今天也很帅·2023-01-30 10:01

spark--Spark Streaming整合kafka-★★★★★

SparkStreaming整合kafka-★★★★★Kafka概念回顾Kafka命令回顾整合方式说明Receiver模式--仅仅为了面试Direct模式--开发用这个结论整合API说明代码实现-自动提交偏移量代码实现
韩家小志·2023-01-30 10:30

初涉shell（项目自启动脚本）

需求在centOS系统中，项目开机自启动脚本，具体操作包括zookeeper->kafka->wildflyzookeeper启动脚本touchzkserver.shvimzkserver.sh#定义项目家目录
Daisy想养猫·2023-01-29 06:56

Kafka-创建生产者消费者-02

一、搭建环境沿用之前部署的三分区两副本的topic创建生产者切入bin目录下./kafka-console-producer--broker-listlocalhost:9092--topictest创建消费者切入bin目录下./kafka-console-consumer--bootstrap-serverlocalhost:9092--topictest生产者消费者具体参数参考版本号具体实现截
伍六七_ba5e·2023-01-10 17:01

Kafka-零拷贝

Kafka除了具备消息队列MQ的特性和使用场景外，它还有一个重要用途，就是做存储层。用kafka做存储层，为什么呢？一大堆可以做数据存储的MySQL、MongoDB、HDFS……因为kafka数据是持久化磁盘的，还速度快；还可靠、支持分布式……啥！用了磁盘，还速度快！！！没错，kafka就是速度无敌，本文将探究kafka无敌性能背后的秘密。首先要有个概念，kafka高性能的背后，是多方面协同后、最
一一空·2023-01-04 17:55

简读笔记-深入理解kafka-第一部分

第一章初始kafka参考书籍：朱小厮--深入理解Kafka核心设计与实践原理Kafka体系结构Kafka体系架构包含若干Producer,若干Broker,若干Consumer,以及一个Zookeeper集群。Zookeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作。Producer：生产者，即发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中Broker：一个独立的
weixin_34150830·2022-12-11 07:08

Kafka-当调用 Kafka Consumer 的 poll 方法时发生了什么？

添加微信公众号可以索取资料添加QQ群一起分享技术：895467044添加微信公众号，回复可索取资料目录目录目录代码第一步，进入这个poll方法进入updateAssignmentMetadataIfNeeded方法CoordinatorBroker端：Consumer端：!coordinator.poll(timer)条件体会前不久，想写写kafka的consumer，就按照官方API写了下面这一
小满锅lock·2022-12-04 23:13

kafka-生产者数据重复有序

目录1问题背景2方案1：幂等性2.1幂等性原理2.2如何使用幂等性？3方案2：Kafka事务4如何保证数据有序？1问题背景至少一次(AtLeastOnce)=ACK级别设置为-1＋分区副本大于等于2+ISR里应答的最小副本数量大于等于2最多一次（AtMostOnce)=ACK级别设置为0总结:AtLeastOnce可以保证数据不丢失，但是不能保证数据不重复;AtMostOnce可以保证数据不重复，
SeaDhdhdhdhdh·2022-12-04 23:43

Kafka-指定位移消费

当一个新的消费组建立的时候，它根本没有可以查找的消费位移，或者消费组的内一个新消费者订阅了一个新的主题，它也没有可以查找的消费位移，当_consumer_offsets主题内有关这个消费组的位移信息过期而被删除以后，它也没有可以查找的消费位移。在Kafka中，每当消费者查找不到所记录的消费位移时，就会根据消费者客户端参数auto.offset.reset的配置来决定从何处开始进行消费，这个参数的默
一个想努力学技术的程序员·2022-12-04 23:32

Kafka 集群安装 (K8S)

9093,PLAINTEXT://0.0.0.0:9092,EXTERNAL://0.0.0.0:$((30090+$NODE_ID))"ADVERTISED_LISTENERS="PLAINTEXT://kafka
elihe2011·2022-09-25 20:00

Kafka-相关命令总结

kafka：--------------------------------kafka----------------------------./bin/kafka-server-start.sh-daemonconfig/server.properties./bin/kafka-topics.sh--create--zookeeper10.170.130.183:2181--topictest-
W_Meng_H·2022-09-04 16:14

阿里云消息队列 Kafka-消息检索实践

简介：本文章主要介绍消息队列使用过程中所遇到的消息丢失、重复消费等痛点问题的排查办法，以及消息队列Kafka「检索组件」的场景实践，并对其关键技术进行解读。旨在帮助大家对消息队列Kafka「检索组件」的特点和使用方式更加熟悉，以更有效地解决消息排查过程中所遇到的问题。作者：Kafka&Tablestore本文章主要介绍消息队列使用过程中所遇到的消息丢失、重复消费等痛点问题的排查办法，以及消息队列K
·2022-08-31 16:33

5分钟搞定 关系型数据库 到 Flink 数据同步

本文主要介绍如何通过CloudCanal快速构建一条高效稳定运行的MySQL->Kafka->Flink数据同步链路。技术点兼容多种常见消息结构CloudCanal目前支持DebeziumE
·2022-08-30 15:54

5分钟搞定 关系型数据库 到 Flink 数据同步

本文主要介绍如何通过CloudCanal快速构建一条高效稳定运行的MySQL->Kafka->Flink数据同步链路。技术点兼容多种常见消息结构CloudCanal目前支持DebeziumE
·2022-08-24 17:55

阿里云消息队列 Kafka-消息检索实践

作者：Kafka&Tablestore本文章主要介绍消息队列使用过程中所遇到的消息丢失、重复消费等痛点问题的排查办法，以及消息队列Kafka「检索组件」的场景实践，并对其关键技术进行解读。旨在帮助大家对消息队列Kafka「检索组件」的特点和使用方式更加熟悉，以更有效地解决消息排查过程中所遇到的问题。场景痛点介绍在消息队列的使用过程中，由于其分布式特性难免会遇到消息丢失、消息重传等问题。例如在日志聚
·2022-07-26 19:34

KAFKA-使用代理进行跨网络访问采坑记录

问题背景：client机器是在内网的，无法直接访问到kafka的机器，所以需要走个代理机器，代理服务器可以同时被内网和外网访问。在外网中，kafka集群都已经搭建好，生产者、消费者都可以正常运行。问题来了：内网的client机器通过nginx代理访问kafka时候查看topic列表正常：kafka-topics.sh--zookeeperlocalhost:2181--list创建topic正常：
泰格数据·2022-06-29 16:42

kafka-集群环境搭建

概述kafka是开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的
rainzqb·2022-05-20 08:27

Shell集群部署ELK+Zookeeper+Kafka+filebeat

服务器2核4Gfilebat->kafka->logstash->elasticsearch->kibanaElasticsearchNode-1#!
·2022-04-21 16:52

Kafka-消息系统

目录1、Kafka概念2、kafka架构3、Kafka消费模型4、实现Kafka的生产端5、实现Kafka的消费端6、Flume整合Kafka1、调整flume的配置文件，监控namenode的日志文件2、启动flume3、启动kafka控制台消费者查看数据1、Kafka概念kafka是一个高吞吐的分布式消息系统,它类似HDFS用来存储数,但HDFS是持久化的,文件数据会一直保留,而Kafka只存
糟糟张·2022-03-10 14:00

离线数仓项目之数据采集

一、采集数据1.准备工作：hadoop安装zookeeper安装kafka安装flume安装sqoop安装2.思想架构：3.架构解析1.使用flume->kafka->flume的原因？
qq_45688530·2022-02-28 09:08

消息队列-KAFKA-单机版安装指南

前提测试机器上需要提前实现安装好JVM，本人使用的是windows环境下利用vmare启动的Ubuntu14.04操作系统的虚拟机，已经事先安装好了JVM1.8。安装实战kafka安装包下载（注意：这里选择的安装包是2.11系列的1.1.0版本的）wgethttps://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz备注：其他版本下
GeekerLou·2022-02-13 23:12

【kafka-部署】集群搭建&快速开始

://kafka.apache.org/quickstart安装环境：centos7问题导读：1、如何搭建kafka集群2、怎样操作kafka命令3、使用代码实现生产者和消费者更多kafka基础概念【kafka
粮忆雨·2022-02-08 22:54

ETL用户数据处理: kafka->spark->kudu

数据结构kafka数据结构kudu表数据结构Spark处理逻辑读取kafka数据日志解析创建应用id的累加器kudu建表和数据写入Dolphinscheduler-Yarn调度Presto查询Kudu数据数据结构kafka数据结构基于前两章数据埋点设计和SDK源码和数据采集和验证方案的介绍,我们是使用filebeat采集容器日志到kafka,使用kafka-eagle查看kafka数据。image
carollia·2022-01-25 11:27

ETL实时方案: Kafka->Flink->Hive

数据结构kafka数据结构hive数据表结构flink处理逻辑和源码任务运行模式dolphinonyarnyarn-session定时优化任务hive小分区合并dolphin占用磁盘定时删除presto内存定时释放数据结构kafka数据结构基于前两章数据埋点设计和SDK源码和数据采集和验证方案的介绍,我们是使用filebeat采集容器日志到kafka,使用kafka-eagle查看kafka数据。
carollia·2022-01-25 11:12

初识Kafka-概念速览|安装与配置—《Kafka权威指南》笔记

文章目录初识Kafka消息批次模式主题与分区生产者和消费者broker和集群保留消息多集群Kafka数据生态安装与配置安装Java安装ZookeeperZookeeper群组(Ensemble)配置文件安装Kafka启动kafka创建一个测试主题：发布消息：读取消息：硬件影响网络影响Kafka集群那需要多少个broker共享Zookeeper初识Kafka消息Kafka的数据单元成为一个消息。一条
秃头青年Juniors·2021-11-16 19:52

kafka-我与面霸的三百回合大战

本文面试情节虚假，但知识真实，请在家人或者朋友的陪同下仔细观看，防止在观看的过程发呆、走神导致没学到知识。性能篇一位身穿格子衬衣，头发好似一拳超人的中年人走了过来，没错他就是面试官，他手握简历，若有所思，我当时害怕极了，然后他开口：小伙子啊，我们这边是基础架构的中间件组，既然你的简历没提到kafka，那我接下来问问你kafka的知识吧。我：好的，kafka平时看的不多，但也还了解一点，不是特别精通
假装懂编程·2021-10-20 07:40

Kafka-多线程消费处理

Kafka-多线程代码赏析在2020年8月13号IGORBUZATOVIĆ这个人在https://www.confluent.io/blog/kafka-consumer-multi-threaded-messaging
·2021-10-13 23:30

第一章 kafka-初识（基础）

目录1、概述1.1、异步通信、系统解耦1.2、削峰填谷1.3、Kafka重点研究的内容1.4、常见的消息队列工作模式1.5、Kafka集群2、分区&日志3、消费者&生产者4、高性能之道-顺序写入&mmap零拷贝（zeroCopy）下一章我们讲一下Kafka的环境搭建（单机和集群）以及Topic的管理1、概述kafka是一个流处理平台，该平台提供了消息的订阅与发布的消息队列，一般作用于系统间的解耦、
风过水无痕··2021-09-17 12:00

Kafka-消息积压处理方案

1.大量消息在mq里积压了几个小时了还没解决场景：几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒3个消费者是3000条，一分钟是18万条，1000多万条。所以如果你积压了几百万到上千万的数据，即使消费者
一一空·2021-07-22 14:22

消息队列之kafka-服务端

1、安装与配置1.1安装kafka依赖于ZooKeeper，如果以单机模式调试kafka，需要确保本机已经安装了ZooKeeper，并处于启动状态。Kafka安装很简单，不再赘述。$KAFKA_HOME/bin目录下有很多预设的脚本，借此可以测试、管理Kafka：connect-distributed.shkafka-producer-perf-test.shconnect-mirror-make
冰河winner·2021-06-22 19:30

消息队列之Kafka-生产者

1、发送模式KafkaProducer是线程安全的，可以在多个线程中共享单个KafkaProducer实例，也可以将KafkaProducer实例进行池化来供其他线程调用。发送消息主要有三种模式:1.1发后即忘(fire-and-forget)publicstaticfinalStringbrokerList="localhost:9092";publicstaticfinalStringtopi
冰河winner·2021-06-21 02:57

kafka-单节点安装

1、安装djk2、下载安装kafka3、简单使用1、jdk安装yuminstall-yjava-1.8.0-openjdk*2、下载安装kafka#官网版本选择地址：http://kafka.apache.org/downloadswgethttps://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgztar-zxvfkafka
李哈哈_2c85·2021-06-12 00:21

Java整合Storm读取Kafka数据

写到这里，kafka->storm->es应该是流式数据处理最标准的模型了，从消息队列获取流式数据源，经storm多分支流水线逐次清洗、处理、计算，把需要的数据持久化到仓库。
宝华的小岛·2021-05-20 06:37

Kafka到Hdfs的数据Pipeline整理

/6077311.html作者：Syn良子出处：http://www.cnblogs.com/cssdongl转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka
葡萄喃喃呓语·2021-05-15 06:29

图解Flume对接Kafka（附中文注释）

文章目录1、前言2、架构图2.1、前半part：File->Flume->Kafka2.2、后半part：Kafka->Flume->HDFS2.3、总3、代码3.1、File->Flume->Kafka3.2
小基基o_O·2021-05-11 15:48

kafka-可靠性和一致性

数据可靠性Producer往Broker发送消息为了让用户设置数据可靠性，kafka在Producer里面体用了消息确认机制。也就是说我们可以通过配置来决定有几个副本收到这条消息才算Producer发送成功。可以在定义Producer时通过acks参数来指定。这个参数支持以下三种值：acks=0：生产者不会等待任何来自服务器的响应。如果当中出现问题，导致服务器没有收到消息，那么生产者无从得知，会造
仰望forward·2021-05-07 18:57

kafka->logstash

一、安装kafka请参考：kafka安装二、安装logstash请参考：logstash安装三、kafka写入logstash3.1注意请注意kafka版本必须为kafka_2.10-0.10.0.1kafka、kafka-client、logstash具体对应关系可以参考：https://www.elastic.co/guide/en/logstash/current/plugins-input
57山本无忧·2021-04-24 23:06

php+kafka+zookeeper+logstash

监听kafka相对应的消息，然后转发到redis，原来我不知道对kafka比较陌生，不知道怎么看里面的消息内容（我知道安装包里有个consumer和producer的脚本）^_^消息发送路径:php->kafka
华尔街地摊dy·2021-04-24 19:33

Kafka-百万级吞吐量的秘密？

Kafka作为一款分布式的消息队列，是如何做到百万级TPS呢？，用了哪些黑科技才能做到如此这般独孤求败呢？1页缓存将磁盘的数据缓存到内存中，把对磁盘的访问变为对内存的访问kafka在写数据的时候，会先将数据写入到页缓存，满足一定条件后刷写到磁盘上，可以保证更高的读写性能。1.1页缓存-读在启用页缓存做读取的情况下，会先查看对应的页，是否在页缓存中，如果在（命中），那么直接读取并返回即可，避免了对磁
蠟筆小噺没有烦恼·2021-04-16 11:58
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他