【面试专栏】Kafka

Zookeeper集群与kafka集群部署搭建

Zookeeper集群与kafka集群部署搭建Zookeeper概述Zookeeper定义Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper应用场景Zookeeper
搬着砖，敲着代码·2023-12-21 14:14

超实用的Kafka集群搭建(有zk版)

前言本文讲述超实用的Kafka集群搭建流程，Kafka2.8以前的集群时依赖于ZooKeeper做服务协调，而2.8开始移除了Zookeeper的依赖（后续会出文章讲解这块的功能情况）。
不认输的猴·2023-12-21 14:43

Kafka集群监控、安全机制与最佳实践

Kafka监控安装Kafka集群监控方案选择：Kafka只能依靠kafka-run-class.sh等命令进行管理KafkaManager（CMAK）是目前比较常用的监控工具，它有如下功能：管理多个集群轻松检查群集状态
端碗吹水·2023-12-21 13:26

《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:45

《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:44

《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:08

【大数据面试】Kafka面试题与答案

介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列，它可解决什么样的问题?说下Kafka架构说下Kafka的特点，优缺点Kafka相比于其它消息组件有什么好处?
话数Science·2023-12-21 11:34

Java基础入门教程！从高级到实战讲的太清楚了

Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。
spring知识点大全·2023-12-21 11:20

springboot中使用kafka

记录一下自己学习kafka的经验吧。站在小白新手的角度，从安装到使用，java代码实现。一、关于消息队列的作用与选择。
Bill老罗·2023-12-21 10:56

Hyperledger Fabric 实战(九):生产级多组织的kafka共识网络详解

>>>搭建一个三个组织的kafka共识网络其主要目录结构如下:.
weixin_34417183·2023-12-21 10:37

Kafka--Kafka日志索引详解以及生产常见问题分析与总结

一、Kafka的Log日志梳理这一部分数据主要包含当前Broker节点的消息数据(在Kafka中称为Log日志)。这是一部分无状态的数据，也就是说每个Kafka的Broker节点都是以相同的逻辑运行。
长情知热爱·2023-12-21 10:03

Kafka 基础快速入门

1、生产者1、生产者发送消息流程配置生产者参数属性和创建生产者对象构建消息：ProducerRecord发送消息：Send关闭生产者2、消费者1、消费者接受消息流程配置消费者参数属性和创建消费者对象订阅主题拉取消息并进行消费处理提交消费偏移量，关闭消费者2、消费者和消费组每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。消费者和消费组与分区的关系如上
顾十方·2023-12-21 09:32

【Kafka每日一问】kafka中partition 的多个节点是分布在不同的broker上面吗

kafka中partition的多个节点是分布在不同的broker上面吗是的，Kafka中的partition(分区)会被复制到不同的broker上。
jianjun_fei·2023-12-21 09:31

Kafka消息队列设计 - Topic、Partition、Offset分析，并整合Spring Boot项目

引言Kafka是一个强大的分布式消息队列系统，广泛应用于各种实时数据处理和事件驱动的场景。
程序员王也·2023-12-21 09:26

【实习记录】第2周 2023.07.03-2023.07.07

实习记录：1.Kafka【入门】就这一篇！Kafka【入门】就这一篇！
叁 石·2023-12-21 08:13

关于MQ，你了解多少？（干货分享之二）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:09

关于MQ，你了解多少？（干货分享之一）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:39

Kafka [Kraft模式]教程（一）

Kafka[Kraft模式]教程（一）说明Kafka版本：3.3.1Kraft模式！准备三台服务器我是通过vagrant搭配virtualbox创建的虚拟机。
超哥聊编程·2023-12-21 07:34

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink（十）【处理函数】

学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

黑马头条--day06文章上下架--kafka消息队列

目录一.自媒体文章上下架二.kafka概述1.消息中间件对比2.kafka介绍3.kafka安装配置三.kafaka入门（1）创建kafka-demo项目，导入依赖（2）生产者发送消息（3）消费者接收消息总结
可爱的鸡仔·2023-12-21 07:00

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink SQL流表与维表join实践

流表就是像kafka这种消息队列中的数据。维表是像MySQL中的静态数据。想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。
iFence·2023-12-21 06:37

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

下面代码的数据来自metricbeat，本机启动metricbeat将数据接入kafka，flink消费kafka中
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

阅读此文默认读者对docker、docker-compose有一定了解。环境docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081:80
iFence·2023-12-21 06:33

2023_Spark_实验三十二：消费Kafka数据并保存到MySQL中

实验目的：掌握Scala开发工具消费Kafka数据，并将结果保存到关系型数据库中实验方法：消费Kafka数据保存到MySQL中实验步骤：一、创建Job_ClickData_Process代码如下：packageexamsimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.TopicP
pblh123·2023-12-21 06:46

Debezium发布历史06

Debezium0.2.3发布七月26,2016作者：RandallHauch发布mysqldocker欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.我很高兴地宣布Debezium0.2.3现已可与KafkaConnect0.9.0.1
大大蚊子·2023-12-21 02:04

Debezium发布历史03

DebeziumonKubernetesMay31,2016byChristianPosta发布mysqldocker更新（2019年10月11日）：在Kubernetes上运行Debezium（以及一般的ApacheKafka
大大蚊子·2023-12-21 01:34

「Java工具类」BeanCopyUtil对象复制工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka
程序员阿宁·2023-12-21 01:37

SpringCloud源码探析（十二）-基于SpringBoot开发自定义中间件

1.概述中间件是一种介于操作系统和应用软件之间，为应用软件提供服务功能的软件，按功能划分有消息中间件（Kafka、RocketMQ）、通信中间件（RPC通信中间件，dubbo等），应用服务器等。
程可爱·2023-12-20 22:21

kafka如何避免消息重复消费

Kafka避免消息重复消费通常依赖于以下策略和机制：1.ConsumerGroupIDKafka使用ConsumerGroupID来跟踪每个消费者所读取的消息。
Memory_2020·2023-12-20 22:47

线上环境CPU使用率飙升6000%问题排查复盘

现象我们在页面上关闭告警时，不会立马进行查库把数据发送到上游系统，而是先将关闭的告警id推送的kafka的一个topic上做缓冲，应用程序监听这个toppic慢慢消费处理。
Memory_2020·2023-12-20 22:46

Kafka为什么能高效读写数据

1）Kafka本身是分布式集群，可以采用分区技术，并行度高（生产消费方并行度高）；2）读数据采用稀疏索引，可以快速定位要消费的数据；3）顺序写磁盘；Kafka的producer生产数据，要写入到log文件中
zmx_messi·2023-12-20 22:12

Kafka消费者组

消费者总体工作流程ConsumerGroup（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。•消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。•消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。消费者组初始化流程1、coordinator：辅助实现消费者组的初始化和分区的分配
zmx_messi·2023-12-20 22:12

kafka文件存储机制

Topic分为好几个partition分区，每个分区对应于一个log文件，log文件其实是虚的，Kafka采取了分片和索引机制，将每个partition分为多个segment（大小为1G）。
zmx_messi·2023-12-20 22:39

从 MySQL 到 DolphinDB，Debezium + Kafka 数据同步实战

本文中我们将采用Debezium与Kafka组合的方式来实现从MySQL到DolphinDB的数据同步。Kafka+Debezium的数据同步方案需要部署4个服务，如下所示ZooKeepe
DolphinDB智臾科技·2023-12-20 20:27

KSQL是什么

KSQL是一个能够方便地对Kafka中的流数据进行实时处理和分析的SQL引擎，使用标准的SQL语法，可以快速地实现对流数据的查询、过滤、聚合和连接等操作.KSQL是一种基于流式处理的SQL引擎，它是由Confluent
摇响檐下风铃·2023-12-20 19:35

ClickHouse初级 - 第八章 用户行为分析实际案例

上图中的行为数据一般是来自于埋点平台通过Kafka集成到ClickHouse的。标签和人群数据一般是来自我们的标签
懒惰的小白521·2023-12-20 18:02

Kafka核心参数(带完善)

客户端apiKafka提供了以下两套客户端APIHighLevel(重点)LowLevelHighLevelAPI封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。
kk_0910·2023-12-20 17:19

Flink系列之：Apache Kafka SQL 连接器

Flink系列之：ApacheKafkaSQL连接器一、ApacheKafkaSQL连接器二、依赖三、创建Kafka表四、可用的元数据五、连接器参数六、特性七、Topic和Partition的探测八、起始消费位点九
最笨的羊羊·2023-12-20 17:19

Flink系列之：Upsert Kafka SQL 连接器

Flink系列之：UpsertKafkaSQL连接器一、UpsertKafkaSQL连接器二、依赖三、完整示例四、可用元数据五、键和值格式六、主键约束七、一致性保证八、为每个分区生成相应的watermark
最笨的羊羊·2023-12-20 17:19

Kafka基本原理及使用

目录基本概念单机版环境准备基本命令使用集群版消息模型成员组成1.Topic（主题）：2.Partition（分区）：3.Producer（生产者）：4.Consumer（消费者）：5.Broker（代理服务器）：6.Zookeeper：成员关系基本概念Kafka
kk_0910·2023-12-20 17:47

Flink SQL填坑记2：Flink和MySQL的Bigdata类型不同导致ClassCastException报错

最近在开发FlinkSQL的时候，需要关联Kafka事实表和MySQL维表，得到的数据写入Phoenix表中，但是其中有个字段，Kafka表、MySQL表和Phoenix表都是BigData类型，但是在实现的时候却报
IT源哥·2023-12-20 17:17

KafKa手动提交问题描述

KafKa手动提交offset问题描述在分布式架构，我在XXJOB来进行调用接口产生数据，将数据提交KafKa进行存储；然后将KafKa中数据拿出来消费，在处理KafKa出来的数据时，调用另外一个服务时
一只爱好编程的程序猿·2023-12-20 17:04

Kafka快速实战以及基本原理详解

文章目录一、Kafka介绍为什么要用Kafka二、Kafka快速上手实验环境单机服务体验三、理解Kakfa的消息传递机制四、Kafka集群服务五、理解服务端的Topic、Partition和Broker
小超同学卷起来·2023-12-20 16:28

elk环境搭建

二、组件filebeatkafkazookeeperelasticsearchkibana三、参考链接：#1json在线解析https://www.json.cn/#2grokdebughttp://grokdebug.herokuapp.com
fengzhihai·2023-12-20 15:35

向本地maven中加载依赖

3、使用maven命令在jar所在文件加内cmd运行注意修改参数-DgroupId：表示jar对应的groupIdio.confluent-DartifactId:表示jar对应的artifactIdkafka-schema-re
Mr_Huang_1·2023-12-20 14:20

读取文件内容并写到kafka

/usr/bin/envpython2#-*-coding:utf-8-*-fromkafka.producerimportKafkaProducerimportsysimportloggingimportosimportdatetimeimportrandomimportthreadingimporttimeparentPath
davidic·2023-12-20 12:28

消息队列选型：Kafka 如何实现高性能？

在分布式消息模块中，我将对消息队列中应用最广泛的Kafka和RocketMQ进行梳理，以便于你在应用中可以更好地进行消息队列选型。另外，这两款消息队列也是面试的高频考点。
小小哭包·2023-12-20 12:21
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他