Kafka原理解析

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（2）- 自定义、mysql

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（3）- kafka

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（1） - File、Socket、Collection

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:19

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（4）- redis -异步读取

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:19

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。
大数据流动·2023-12-15 21:01

flink1.12.4消费kafka 报错 The coordinator is not available

报错Youshouldretrycommittingthelatestconsumedoffsets.Causedby:org.apache.kafka.common.errors.CoordinatorNotAvailableException
青云游子·2023-12-15 21:07

深入浅出理解kafka存储机制

前言Kafka是为了解决大数据的实时日志流而生的,每天要处理的日志量级在千亿规模。对于日志流的特点主要包括：数据实时产生。海量数据存储与处理。
乖的小肥羊·2023-12-15 21:03

Kafka | 一篇文章带你快速搞定Kafka术语

在Kafka的世界中有很多概念和术语是需要你提前理解并熟练掌握的，这对于后面你深入学习Kafka各种功能和特性将大有裨益。下面我来盘点一下Kafka的各种术语。
诡异的笑容·2023-12-15 21:33

Kafka服务公网访问终极解决

公司部署的互联网Kafka服务器一直无法设置公网访问，查询大量无果。后发现不是配置的原因，属于端口映射的问题，专业术语为net回流。
ckafkasnd·2023-12-15 21:33

认识kafka

文章目录一、了解kafka1.什么是kafka2.kafka的特性二、kafka中的基本概念三、kafka的应用场景一、了解kafka1.什么是kafkaKafka是一种高吞吐量的分布式发布订阅消息系统
张烫麻辣亮。·2023-12-15 21:02

【中间件学习篇_Kafka】搞定kafka术语 No.4

目录一、kafka架构图二、Kafka相关概念及术语三、参考资料在Kafka的世界中有很多概念和术语需要熟练掌握，有助于深入理解Kafka原理。
C-Jonn·2023-12-15 21:32

Kafka提升--流式处理（1）

1、什么是流式处理先来看看什么是数据流（也被称为“事件流”或“流数据”）。首先，数据流是无边界数据集的抽象表示。无边界意味着无限和持续增长。无边界数据集之所以是无限的，是因为随着时间的推移，新的记录会不断加入进来。这个定义已经被包括Google和Amazon在内的大部分公司所采纳。这个简单的模型（事件流）可以表示很多业务活动，比如信用卡交易、股票交易、包裹递送、流经交换机的网络事件、制造商设备传感
东谌·2023-12-15 21:32

分布式消息中间件-kafka

Kafka基础Kafka是一个分布式的基于发布/订阅模式的消息引擎系统削峰填谷应用解耦异步处理理高吐出（10-20w的QPS）高性能架构图Kafka用zk管理broker搞定术语生产者：Producer
佳佳乐2503·2023-12-15 21:31

一篇文章带你搞定Kafka！

ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点。
vthinkwen·2023-12-15 21:31

kafka初识

吞吐量单位时间内处理的数据量。讲求的单位时间内处理的数据量要大。跟他对比的是实时性，它要求的是响应时间要快。请介绍一下zookeeper(Zookeeper协同的是什么)概念说明Zk是分布式环境下的第三方协同服务，帮助分布式系统，比如存储、计算、调度等均需要协同服务。特点特征简单、易使用、高效、稳定应用场景核心是要解决一致性问题分布式环境下的命名一致性问题分布式服务环境下的高可用性问题HA问题Hi
TSBigDate·2023-12-15 21:30

利用 docker 掌握 kafka 总集篇

文章目录第一节Kafka集群承前Kafka集群搭建**概述****操作流程**Kafka集群快速搭建安装Docker**zookeeper**集群**新建docker网络****yml脚本****验证*
lluxury·2023-12-15 21:59

8、Kafka 消息交付可靠性保障（幂等生产者和事务生产者是一回事吗？）

Kafka消息交付可靠性保障（幂等生产者和事务生产者是一回事吗？）
cjh-Java·2023-12-15 21:29

9、消费者组到底是什么？（高扩展性）

（高扩展性）1、消费者组的3个特性2、两种消息引擎模型的实现2.1、点对点模型2.2、发布/订阅模型2.3、混合模型-消费者组机制3、针对ConsumerGroup，Kafka是怎么管理位移的4、重平衡
cjh-Java·2023-12-15 21:29

7、无消息丢失配置怎么实现？

1、Kafka保障消息不丢失的限度核心要素一：“已提交的消息”核心要素一：“有时限”2、“消息丢失”案例案例1：生产者程序丢失数据案例2：消费者程序丢失数据3、最佳实践1、Kafka保障消息不丢失的限度首先要明确
cjh-Java·2023-12-15 21:59

2、快速搞定Kafka术语

快速搞定Kafka术语Kafka服务端3层消息架构Kafka客户端Broker如何持久化数据小结Kafka服务端3层消息架构第1层是主题层，每个主题可以配置M个分区，而每个分区又可以配置N个副本。
cjh-Java·2023-12-15 21:25

kafka创建新topic

创建topicbin/kafka-topics.sh--create--bootstrap-serverlocalhost:9092--replication-factor1--partitions1-
看完能不能点赞？·2023-12-15 19:53

【SpringBoot系列】spring-kafka consumer源码分析

‍♂️个人主页：@香菜的个人主页，加ischongxin，备注csdn✍作者简介：csdn认证博客专家，游戏开发领域优质创作者,华为云享专家，2021年度华为云年度十佳博主希望大家多多支持，我们一起进步！如果文章对你有帮助的话，欢迎评论点赞收藏加关注+系列文章：SpringBoot学习大纲，可以留言自己想了解的技术点目录1、spring-
香菜+·2023-12-15 18:05

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

Debezium日常分享系列之：Debezium 2.5.0.CR1发布

日常分享系列之：Debezium2.5.0.CR1发布一、重大变化1.CloudEvent标头的架构名称2.MySQLBIT默认长度二、新功能和改进1.重新选择列2.DebeziumServer-用于ApacheKafka
最笨的羊羊·2023-12-15 16:29

flume系列之：使用通配符批量消费kafka的Topic

flume系列之：使用通配符批量消费kafka的Topic#指定kafkatopic使用注释的这个#kafka_topics:"optics-production-data"#flume使用通配符kafka_topics_regex
最笨的羊羊·2023-12-15 16:59

flume系列之：监控flume agent channel的填充百分比

flumeagentchannel的填充百分比一、监控效果二、获取flumeagent三、飞书告警四、获取每个flumeagentchannel的填充百分比一、监控效果二、获取flumeagentdefgetKafkaFlumeAgent
最笨的羊羊·2023-12-15 16:17

Flink反压如何查看和优化

我们在使用Flink程序进行流式数据处理时，由于种种原因难免会遇到性能问题，如我们在使用Flink程序消费kafka数据，可能会遇到kafka数据有堆积的情况，并且随着时间的推移，数据堆积越来越多，这就表名消费处理数据的速度没有跟上生产的速度
后季暖·2023-12-15 15:18

flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理

背景在处理flink的数据流时，比如处理商品流时，一般我们从kafka中只拿到了商品id，此时我们需要把商品的其他配置信息比如品牌品类等也拿到，此时就需要关联上外部配置表来达到丰富数据流的目的，如果外部配置表很大
lixia0417mul2·2023-12-15 15:08

七、kafka怎么保证不丢失消息和不重复消费消息

Kafka中怎么保证消息不会丢失和不重复消费？从两个方面分析：消息推送和消息消费。也就是生产者和消费者两方面。首先我们需要知道topic的概念。
努力的布布·2023-12-15 15:54

便捷搭建 Zookeeper 服务器的方法，好用，收藏~

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。整理了一份Java面试宝典完整版PDFZo
程序员白楠楠·2023-12-15 14:03

Topic与Partition

示意图1.Topic:每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic(主题).2.Partition:Partition是物理上的概念,每个Topic包含一个或多个partition.Topic
鬼古神月·2023-12-15 13:36

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

事件处理：SpringBoot+Kafka

文章目录关于Kafka安装kafka服务实战关于Kafkakafka官网：http://kafka.apache.org/是一个分布式的、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统
高 朗·2023-12-15 11:22

大半夜学计算机的小姨子不睡觉？居然看这个？

、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka
好想吃汉堡·2023-12-15 10:34

阿里云SLS日志服务之数据导入与加工处理

一、背景采集vm虚拟机上的Log日志文本，如果需要经过特殊的加工处理，在本文主要讲述如何在SLS把kafka采集上来的数据经导入并加工后存储。
天草二十六_简村人·2023-12-15 08:02

《PySpark大数据分析实战》-07.Spark本地模式安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 07:31

Flume+Kafka+Storm+Redis构建大数据实时处理系统

在下面给出的完整案例中，我们将会完成下面的几项工作：如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis）实时处理网站的用户访问日志，并统计出该网站的PV、UV将实时分析出的
Summer_1981·2023-12-15 06:16

《PySpark大数据分析实战》-03.了解Hive

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 06:42

Kafka-集群架构设计

Kafka的Zookeeper元数据梳理zookeeper整体数据Kafka将状态信息保存在Zookeeper中，这些状态信息记录了每个Kafka的Broker服务与另外的Broker服务有什么不同。
有梦想的年轻人6174·2023-12-15 06:41

Kafka-Kafka基本原理与集群快速搭建

一、Kafka介绍ChatGPT对于ApacheKafka的介绍：ApacheKafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。
长情知热爱·2023-12-15 06:38

kafka rebalance(再均衡)导致的消息积压分析

起因：某天，项目组收到大量的kafka消息积压告警。查看了kafka日志后，发现kafka不断地rebalance(再均衡)。
乐之者v·2023-12-15 06:07

springoot集成kafka

1.常见两种模式2.高可用和负载均衡组内:消费者一个只能消费一个分区组外:消费者消费是订阅者模式
qq_41170818·2023-12-15 06:34

4、Kafka 核心常用配置项

Kafka核心常用配置项1、Broker端配置1.1、Broker配置存储信息1.2、Broker配置连接信息1.3、Broker配置Topic管理信息1.4、Broker配置数据留存管理信息2、Topic
cjh-Java·2023-12-15 06:27

Kafka基础理论与常用命令详解（超详细）

文章目录前言一、Kafka概述1.Kafka简介2.Kafka架构2.1Broker（代理服务器）2.2Topic（主题）2.3Producer（生产者）2.4Consumer（消费者）2.5ConsumerGroup
大数据魔法师·2023-12-15 06:53

物流实时数仓：数仓搭建（DIM）

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）文章目录系列文章目录前言一、文件编写1.pom.xml2.目录创建3.DimApp.java4.KafkaUtil.java5
超哥--·2023-12-15 06:34

06 数仓平台MaxWell

Maxwell简介Maxwell是由Zendesk公司开源，用Java编写的MySQL变更数据抓取软件，能实时监控MySQL数据库的CRUD操作将变更数据以json格式发送给Kafka等平台。
kk_io·2023-12-15 06:02

07用户行为日志数据采集

用户行为数据由Flume从Kafka直接同步到HDFS，由于离线数仓采用Hive的分区表按天统计，所以目标路径要包含一层日期。具体数据流向如下图所示。
kk_io·2023-12-15 06:22

Rocket MQ 架构介绍

它的研发背景是ActiveMQ与Kafka不能很好的解决当时的业务场景。官网上是这么描述的：在阿里孕育RocketMQ的雏形时期，我们将其用于异步通信、搜索、社交网络活动流、数据管道，贸易流程中。
Jayden　·2023-12-15 05:14

消息中间件比较

其实现在主流的消息中间件就4种：kafka、ActiveMQ、RocketMQ、RabbitMQ下面我们来看一下，他们之间有什么区别，他们分别应该用于什么场景ActiveMQ我们先看ActiveMQ。
xmh-sxh-1314·2023-12-15 04:35

【MySQL系列】Centos安装MySQL

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-15 04:17
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他