Kafka每日一问

【Kafka每日一问】Kafka的高可用机制是什么?

1.副本（Replication）副本因子：当创建一个KafkaTopic时，可以指定副本因子，这个因子决定了每个分区会有多少个副本存储在不同的broker上。
jianjun_fei·2024-01-18 00:23

【Kafka每日一问】Kafka消费者故障，出现活锁问题如何解决?

在Kafka中，消费者的“活锁”通常是指消费者实例持续失败并重新加入消费者组，但却始终无法成功处理消息。这种现象可能会导致消费者组不断触发重平衡（rebalance），而消息却没有被实际消费。
jianjun_fei·2024-01-18 00:18

连接超时的问题

windows上Hosts文件域名解析有问题比如：192.168.xx.100node1192.168.xx.161node1两个都解析成node1需要注释掉一个#192.168.xx.161node1kafkatool
中长跑路上crush·2024-01-17 23:33

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。
中长跑路上crush·2024-01-17 23:02

Flume 之自定义 Source

1、简介Flume自带Source有Avro、Thrift、Netcat、Taildir、Kafka、Http等，有些场合比如我们指定访问接口获取数据当做Flume的Source，像这种定制化的Source
知其_所以然·2024-01-17 19:52

flume的自定义sink-Kafka

1、创建一个agent，sink类型需指定为自定义sinkvi/usr/local/flume/conf/agent3.confagent3.sources=as1agent3.channels=c1agent3.sinks=s1agent3.sources.as1.type=avroagent3.sources.as1.bind=0.0.0.0agent3.sources.as1.port=41
weixin_30483013·2024-01-17 19:20

项目压测优化实践思路

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:52

设计一个简易版本的分布式任务调度系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个简单的规则引擎

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个抽奖系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:20

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

下图是flink-cdc最新支持的数据源类型：对有记录事务操作的kafka数据源通过flink-cdc实现实时数据同步kafka的数据源要通过flink-cdc
木棉庭·2024-01-17 18:09

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。
OkGogooXSailboat·2024-01-17 18:36

每日一问之为什么不组织班聚

坐在古色古香的市图书馆，望着窗外的光芒，一阵震动传来，睿睿发起了群投票—是否班聚。一年前的我创建了各个讨论组，各种私聊问什么地点什么时间比较好，大学第一年大家聚一聚，反应寥寥无几，于是我一个个私聊“来吗，难得聚一聚”。最后吃饭来了三十多个人，对我而言还是很满意的，那一天算是挺开心的。那一年的暑假其他人也组织了一次小聚，对我而言却着实无甚意思。未料想到，又是一年过年时，忙碌的大半个学期的我却没有什么
只是孤独·2024-01-17 18:38

每日一问：爱与被爱，你选择哪一个？

爱情是人类永恒的话题，世人都可以拥有爱情，那什么是爱情？当我们谈论爱情的时候，到底在谈论什么？当说到爱情的时候，我首先想到的是梁山伯与祝英台，罗密欧与朱丽叶，许仙与白娘子。这些都是我们耳熟能详的爱情故事，或者传说。他们的结局不一定美好，甚至说他们的结局似乎都很悲惨，但为什么我们还是如此羡慕，或许这就是爱情的魔力。让我们如此渴望，又总是让我们如此痛彻心扉，即便如此，我们还是对爱情趋之若鹜。我们很容易
鲍弘军·2024-01-17 16:47

常用的消息队列和中间件都有哪些

Kafka：Kafka是一个高吞吐量的分布式发布订阅消息系统，由Apache开发。它主要用于处理大规模的实时数据流，具有高性能和可扩展性。
酷爱码·2024-01-17 16:08

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

【每日一问】0805

【每日一问】0805谢晓珊你有一个中长期的目标么？你是怎样制定目标的？问问自己，每天有在为自己的目标努力么？目标不是写下来就好的，而是要把计划落实到生活中的每一天。
渔歌子珊·2024-01-17 15:32

Linux环境下kafka 2.7.0的安装

1下载kafka安装包官方下载地址http://kafka.apache.org/downloadsimage.png使用镜像地址下载,https://mirrors.bfsu.edu.cn/apache
FyK_21f8·2024-01-17 13:22

关于kafka中的tcp连接

生产者建立连接时机启动在创建KafkaProducer实例时，生产者应用会在后台创建并启动一个名为Sender的线程，该Sender线程开始运行时首先会创建与Broker的连接。
kar_joe·2024-01-17 12:35

2020520|怎样才能算一个合格的成年人？

文/与洛每日一问：今天你做的事情让你离梦想跟进一步了吗？最近我一直在思考怎样才能算是一个合格的成年人？借着“520”这个特殊的日子和大家谈谈我的看法。
与洛·2024-01-17 12:11

职业测评给我带来了什么？

每日一问很有趣，“做完兴趣地图后，你发现自己的哪些兴趣在工作中已经有所体现，哪些兴趣可以在工作中更多发挥？”。
蒙恬_KeepMoving·2024-01-17 10:04

单节点部署 Gpmall 商城系统

目录实验中使用的技术实验过程实验中使用的技术JavaRedisElasticsearch（先不用）NginxMariaDBZooKeeperKafka实验过程1.Xnode1克隆虚拟机gpmallCRT
守丘·2024-01-17 09:25

kafka-ui通过docker部署

创建docker-compose.yamlservices:kafka-ui:container_name:kafka-uiimage:provectuslabs/kafka-ui:latestports
weixin_43169720·2024-01-17 09:23

Kafka 的架构

实验过程1.三个虚拟机中解压kafka软件包tar-zxvfkafka_2.11-1.1.1.tgz2.修改3个节点配置文件在zookeeper节点，进入kafka_2.11-1.1.1/config目录下
守丘·2024-01-17 09:52

Linux 安装 Apache Kafka

一、安装下载kafka，下载地址，只是使用的话下载Binary版本就行。
South_BJ·2024-01-17 08:10

kafka简单介绍和代码示例

“这是一篇理论文章，给大家讲一讲kafka”简介在大数据领域开发者常常会听到MQ这个术语，该术语便是消息队列的意思，Kafka是分布式的发布—订阅消息系统。
necessary653·2024-01-17 07:53

Kafka学习

Kafka的消息通过主题（topic）进行分类主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性消息以追加的方式写入分区，然后以先入先出（FIFO）
error0318·2024-01-17 07:37

Kafka 简介

目录1、概念介绍Kafka由来ZooKeeperKafka特性Kafka使用场景Kafka复制备份2、Kafka架构BrokerTopicProducerPartitionConsumersConsumerGroupDistribution1
HuaLuLemon·2024-01-17 07:03

Kafka 集群部署

目录1、环境准备2、搭建ZooKeeper集群配置文件节点标记环境变量启动集群数据同步测试故障测试3、搭建Kafka集群配置文件环境变量配置其他机器启动服务4、集群测试创建Topic显示Topic配置创建
HuaLuLemon·2024-01-17 07:03

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。
happystudy_neu·2024-01-17 07:32

Kafka详解及常见面试问题解析（值得珍藏）

1.定义Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
孤蓬&听雨·2024-01-17 07:29

springboot2.x整合kafka【详细】

文章目录一、中间件部署1.环境2.版本选择依据3.解压安装3.1zookeeper安装部署3.2kafka安装部署二、springboot整合1.pom.xml添加依赖2.application.yml
喵王叭·2024-01-17 06:16

Spark面试

它支持从多种数据源读取数据，比如Kafka、Flume、Twitte
lune_Lucky·2024-01-17 05:30

【Kafka】log4j2漏洞不影响集群安全

1.背景最近发现不少文章提到log4j的远程代码执行漏洞会影响Kafka，在此向大家说明Kafka采用的版本是log4j1.2.17且不受此事件影响2.详情打开GitHub-apache/kafka默认主分支
扬_帆_起_航·2024-01-17 04:40

springboot集成kafka消费数据

springboot集成kafka消费数据文章目录springboot集成kafka消费数据1.引入pom依赖2.添加配置文件2.1.添加KafkaConsumerConfig.java2.2.添加KafkaIotCustomProperties.java2.3
这名字应该不会重复吧·2024-01-17 02:33

【算法Hot100系列】全排列

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-17 01:21

kafka内外网配置

看此文档，需要首先会安装kafka集群，zookeeper集群；熟悉组件命令；三台kafka集群（设置加密通道）：192.168.1.86:9092外网IP:19092192.168.1.87:9092
窦再兴·2024-01-17 00:16

flume

Kafka网络端口数据1.2Flume基础架构1.
添柴少年yyds·2024-01-17 00:55

Kafka-RecordAccumulator分析

前面介绍过，KafkaProducer可以有同步和异步两种方式发送消息，其实两者的底层实现相同，都是通过异步方式实现的。
Andy技术支援·2024-01-16 22:52

「Kafka」Broker篇

「Kafka」Broker篇主要讲解的是在Kafka中是怎么存储数据的，以及Kafka和Zookeeper之间如何进行数据沟通的。
小成同学_·2024-01-16 21:44

Kafka-核心概念

消息消息是Kafka中最基本的数据单元。消息由一串字节构成，其中主要由key和value构成，key和value也都是byte数组。
Andy技术支援·2024-01-16 20:13

Kafka-生产者

Kafka在实际应用中，经常被用作高性能、可扩展的消息中间件。Kafka自定义了一套网络协议，只要遵守这套协议的格式，就可以向Kafka发送消息，也可以从Kafka中拉取消息。
Andy技术支援·2024-01-16 20:13

Docker安装各种软件

目录一.Nacos二.MySQL5.7三.Tomcat四.Clickhouse五.Redis六.Zookeeper七.Kafka八.Flink九.Fastdfs十.RabbitMQ十一.Elasticsearch
黑暗对我避而远之·2024-01-16 20:37

Kafka系列(三）

其中三将讲述kafka座位消息中间件的代码样例，四将讲述kafka的stream流式计算处理。
happystudy_neu·2024-01-16 19:07

结构化流的介绍

目录有界数据和无界数据有界数据无界数据结构化流基本介绍入门案例结构化流的编程模型数据结构数据源(Source)FileSourceKafkaSource(Spark和Kafka整合)整合Kafka准备工作从
Sisi525693·2024-01-16 19:58

CentOS安装maxwell

停止maxwell四、说明1、更新数据2、插入数据3、删除数据五、遇到问题一、简介maxwell是由美国Zendesk公司开源，它通过读取mysql的binlog日志，将数据变更以JSON的方式发送给Kafka
GreaterBuilder·2024-01-16 18:57

maxwell同步全量历史数据

CentOS安装maxwell在上篇的基础上，我们实现了实时同步mysql数据到kafka。maxwell不仅可以同步实时数据，也可以同步全量历史数据。
GreaterBuilder·2024-01-16 18:26

【Mybatis系列】Mybatis空值关联

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-16 16:26

你从什么时候开始探索自己，你改变了吗？变得更爱自己了吗？

【2020.5.20】每日一问Day3：Q：你过去印象最深的一次自我探索经历是什么？对自己有什么发现？
登山的小蜗牛·2024-01-16 15:22
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他