【面试专栏】Kafka

软件安装文档 | Kafka（Docker）

1、首先创建一个网络dockernetworkcreatekafka-net--driverbridge2、安装zookeeperdockerpullzookeeper:latestdockerrun-d
suweijie768·2024-01-08 14:02

06、Kafka ------ 各个功能的作用解释（ISR 同步副本、非同步副本、自动创建主题、修改主题、删除主题）

目录CMAK各个功能的作用解释★ISR副本(同步副本）★非同步副本★自动创建主题★修改主题★删除主题CMAK各个功能的作用解释★ISR副本(同步副本）简单来说，ISR副本就是Kafka认为与领导者副本同步的副本
_L_J_H_·2024-01-08 11:15

Topic和Partition

分区是Kafka可伸缩性和水平扩展的关键,也是多副本机制保证可用性的基础。分区可以有一到多个副本,每个副本对应1个日志文件,每个日志文件对应1到多个日志分段。
FA-117·2024-01-08 11:45

实战Flink Java api消费kafka实时数据落盘HDFS

文章目录1需求分析2实验过程2.1启动服务程序2.2启动kafka生产3JavaAPI开发3.1依赖3.2代码部分4实验验证STEP1STEP2STEP35时间窗口1需求分析在Javaapi中，使用flink
大数据程序终结者·2024-01-08 11:13

Kafka消息存储

一般消息由header和body组成,这点儿在Kafka消息中也同样适用。messageMESSAGE=OVERHEAD+RECORDOVERHEAD=xxxv0RECORD=CRC32+
FA-117·2024-01-08 11:10

Flink项目开发记录之合并数据流

项目开发记录之合并数据流项目目前的jar包环境：flink1.9.0这边就是常用jar，就不列出了，合并流我这边选择是使用相同的key流然后设置时间的上下限，进行合流项目背景：由于业务需求，将原本的从kafka
清清清清清清·2024-01-08 09:17

Flink消费kafka数据进行统计，过滤，合流后sink到kafka

Flink消费与生产kafka数据由于最近毕设需要设计一个小功能，一个日志分析并转换合并放到kafka上的一个需求，今天来总结积记录一下思路与代码实现。
HuYueeer·2024-01-08 09:47

【算法Hot100系列】合并 K 个升序链表

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-08 08:06

为什么 Kafka 这么快？它是如何工作的？

ApacheKafka因其速度和可扩展性而成为热门选择，但究竟是什么让它如此之快？
Linux技术社区·2024-01-08 06:19

Elasticsearch-BulkProcessor-死锁分析

问题概述我们程序流程是：从Kafka消费数据程序解析数据处理好后，将数据组装为IndexRequest，使用bulkProcessor.add(indexRequest
我大梦想家·2024-01-08 05:35

分布式消息队列差异化总结，太全了！

本文将对Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ从17个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka：资料数量中等。
Java_苏先生·2024-01-08 05:54

Kafka可视化管理工具kafka-manager部署安装和使用

一、kafka-manager简介为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做KafkaManager。
至尊宝l·2024-01-07 22:52

Debezium发布历史51

debezium-meets-quarkus/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.Debezium遇见Quarkus三月14,2019作者：JiriPechanecquarkus示例微服务apache-kafka
大大蚊子·2024-01-07 22:33

Debezium发布历史49

reliable-microservices-data-exchange-with-the-outbox-pattern/欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.使用发件箱模式进行可靠的微服务数据交换二月19,2019作者：GunnarMorling讨论微服务apache-kafka
大大蚊子·2024-01-07 22:02

学习笔记 | Kafka

一、概述定义1、Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用与大数据实时处理领域。
suweijie768·2024-01-07 21:22

【RabbitMQ】1 消息中间件MQ概述

目录什么是消息中间件为什么使用消息中间件流量削峰应用解耦异步处理主流消息中间件及选型选取原则RabbitMQRocketMQKafka如何选择消息中间件应用场景电商秒杀案例拉勾B端C端数据同步案例支付宝购买电影票什么是消息中间件维基百科对消息中间件的解释
Ethan-running·2024-01-07 21:57

2019-08-26 Kafka Producer

PropertiesPropertiesprops=newProperties()props.put(xxxx,xxxxx);props.put(xxxx,xxxxx);props.put(xxxx,xxxxx);ProducerRecordProducerRecordrecord=ProdecerRecord(topicdename,key,value:可以是值或者是个封装好信息的类)Produ
a6ec74fc2514·2024-01-07 21:00

Redis的IO多路复用原理解析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-07 20:10

消息队列之堆积问题分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-07 20:34

RabbitMQ快速入门（详细）

当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等2、作用1、消息中间件主要作用冗余(存储)扩展性可恢复性缓冲
寂冄·2024-01-07 19:44

分布式事务完美解决方案：消息中间件（kafka）+ 本地事物 + 消息校对

前言分布式事务是要保证多个服务下的多个数据库操作的一致性。分布式事务常见解决方案有：二阶段、三阶段和TCC实现强一致性事务，其实还有一种广为人知的方案就是利用消息队列来实现分布式事务，保证数据的最终一致性，也就是我们常说的柔性事务。本次使用MQ+本地事务+消息校对的方式来实现分布式事务。案例描述有两张银行卡为bankcard1和bankcard2，且这两张银行卡存在于不同的服务中，bankcard
ZYNORL·2024-01-07 19:35

kafka使用SASL_PLAINTEXT做用户认证

使用SASL/PLAIN认证server端1.配置brokerkafka_server_jaas.conf内容KafkaServer{org.apache.kafka.common.security.plain.PlainLoginModulerequiredusername
至垚·2024-01-07 18:50

后端常用组件小计

文章目录概要rediskafkaESmongodbmqmysqlwebhook动态配置apollo微服务系列文件存储系列概要rediskafkaESmongodbmqmysqlwebhook动态配置apollo
qq_43369327·2024-01-07 17:28

Kafka（五）生产者

目录Kafka生产者1配置生产者bootstrap.serverskey.serializervalue.serializerclient.id=""acks=allbuffer.memory=33554432
yunyun1886358·2024-01-07 16:37

Kafka（七）可靠性

目录1可靠的数据传递1.1Kafka的可靠性保证1.2复制1.3Broker配置1.3.1复制系数1.3.2broker的位置分布1.3.3不彻底的首领选举1.3.4最少同步副本1.3.5保持副本同步1.3.6
yunyun1886358·2024-01-07 16:37

Kafka（六）消费者

目录Kafka消费者1配置消费者bootstrap.serversgroup.idkey.deserializervalue.deserializergroup.instance.idfetch.min.bytes
yunyun1886358·2024-01-07 16:55

Kafka大厂高频面试题：在保证高性能、高吞吐的同时保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制（replication）的存在，它就不会丢失。
一只程序猿哟·2024-01-07 16:28

38 调优kafka

操作系统调优1.禁止atime更新，减少文件系统的写操作。mount-onoatime2.选择高性能的文件系统，如ext4或者XFS3.swap空间设置，将swappniness设置成很小的一个值比如1～10，防止linuxOOMKiller开启随意杀掉进程。swappiness的值是个参考值，是否会发生swap跟当前是哪种pagereclaim及系统当前状态都有关系，所以设置了swappines
ZyyIsPig·2024-01-07 14:31

学习笔记-日志采集和实时分析简单实例

流程简述：Nginx生成的访问日志文件通过Filebeat采集输入到Kafka中，Kafka中数据流入Logstash，Logstash处理过滤数据。
人生偌只如初见·2024-01-07 13:27

使用Docker搭建单机Kafka

Docker搭建Zookeeper获取zookeeperdockerpullzookeeper运行zookeeperdockerrun-it-p2888:2888-p2181:2181--name=zookeeperzookeeper自此zookeeper搭建完毕从控制台返回的信息中，我们可以得知zookeeper的配置文件地址为/conf/zoo.cfg，我们可以对zookeeper的配置进行自
晴海s·2024-01-07 12:33

Kafka（三）概述

目录1Kafka的应用场景1.1活动跟踪1.2消息传递1.3指标和日志记录1.4提交日志1.5流式处理2Kafka的核心概念消息（message）键（Key）批次（Batch）模式（Schema）主题（
yunyun1886358·2024-01-07 10:35

kafka生产者设置ack、消费者设置自动提交实例

生产者在Kafka中，可以通过设置acks参数为“all”来确保生产者在成功写入所有副本后才认为消息发送成功。
杵意·2024-01-07 10:04

Kafka（四）Broker

目录1配置Broker1.1Broker的配置broker.id=0listererszookeeper.connectlog.dirslog.dir=/tmp/kafka-logsnum.recovery.threads.per.data.dir
yunyun1886358·2024-01-07 10:32

Kafka 与 RabbitMQ

现在看来，当我们需要在项目中使用消息队列时，Kafka是首选产品。但是，当我们考虑特定要求时，它并不总是最佳选择。数据库支持的队列让我们再次使用我们的星巴克示例。
Linux技术社区·2024-01-07 09:20

【面试专栏】ArrayList&HashMap&HashSet是线程不安全的，写个案例并给出解决方案

文章同步更新在个人公众号“梓莘”，欢迎大家关注，相互交流。写时复制：CopyOnWriteArrayListCopyOnWrite容器即写时复制的容器，往一个容器添加元素的时候，不直接往当前容器Object[]添加，而是先将当前容器Object[]进行Copy,复制出一个新的容器Object[]newElements,然后新的容器Object[]newElwmwnts里添加元素，添加元素之后，再将
霓裳梦竹·2024-01-07 07:18

数仓工具—Hive进阶之StorageHandler(23)

StorageHandler引入StorageHandler，Hive用户使用SQL的方式读写外部数据源,例如ElasticSearch、Kafka、HBase等数据源的查询对非专业开发是有一定门槛的，
不二人生·2024-01-07 07:39

Kafka Rebalance机制

这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是Kafka重平衡机制重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下
tracy_668·2024-01-07 07:48

kafka中，使用ack提交时，存在重复消费问题

监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻辑是要入库的，导致数据多了好几条，后排查得知是配置问题…spring.kafka.consumer.enable-auto-commit
奔跑的小蜗牛哈哈·2024-01-07 07:20

MinIO创建bucket notificaion

docs.min.io/docs/minio-bucket-notification-guide.html1.preparethedocker-composefileversion:'3'services:kafka
雅阁驸马·2024-01-07 06:45

深度解析：Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别与比较

目录引言1.Kafka1.1架构设计1.2特点与优势2.ActiveMQ2.1架构设计2.2特点与优势3.RabbitMQ3.1架构设计3.2特点与优势4.RocketMQ4.1架构设计4.2特点与优势
喔的 喔的嘛呀·2024-01-07 05:16

filebeat+kafka+elasticsearch+logstash+kibana

版本filebeat6.6.0+kafka2.11+elk7.3.1elk是docker部署的，其他是本地服务下载地址：https://mirrors.huaweicloud.com/filebeat/
多走走多看看·2024-01-07 03:21

kafka 生产者是如何选投递分区的，消费者选择分区

bin/kafka-topics.sh--zookeeperlocalhost:2181--create--topicmy-top
long_c2b7·2024-01-07 01:02

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

超详细教程：Centos安装Prometheus、Grafana监控Kafka及Linux主机

安装并运行node_exporter下载node_exporter解压到指定/app/exporter编写管理脚本control_node_exporter.sh，并给予权限chmod+xcontrol_node_exporter.sh，脚本内容如下：#!/bin/bashPID_FILE="node_exporter.pid"LOG_FILE="node_exporter.log"###这个路径
一座野山·2024-01-06 16:47

使用Kafka与Spark Streaming进行流数据集成

为了实现实时数据集成和分析，组合使用ApacheKafka和ApacheSparkStreaming是一种常见的做法。
晓之以理的喵~~·2024-01-06 16:43

大数据采集与预处理技术

1.3.1大数据采集技术1.3.2数据预处理技术第二章数据采集基础2.1传统数据采集技术2.2大数据采集基础第三章大数据采集架构1.Chukwa数据采集2.Flume数据采集3.Scribe数据采集4.kafka
Sparky*·2024-01-06 14:10

jaeger基于docker非all-in-one搭建(加入kafka作为缓冲)

文章目录前言示意图一、部署collector收藏家配置将存储指向Kafka1.节点12.节点23.节点3二、部署三台摄食者ingester消费kafka内jaeger-spans下的span信息传给es
20、77·2024-01-06 14:06
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他