kafka配置优化

sparkStreaming+kafka简单例子

flume采集（安装flume，这块就不多做赘述了,安装也只是测试，没用，提供一个下载链接）首先自定义source[sink->kafka->sparkstreaming]#启动kafka服务后台永久启动
小曹男孩·2023-12-15 22:03

SparkStreaming与Kafka整合及相关案例

目录1、SparkStreaming与Kafka-0-8整合1.1、Receiver-basedApproach（不推荐使用）1.2、DirectApproach(NoReceivers)1.3、SparkStreaming
fengge18306·2023-12-15 22:58

Spark-Streaming+Kafka+mysql实战示例

文章目录前言一、简介1.Spark-Streaming简介2.Kafka简介二、实战演练1.MySQL数据库部分2.导入依赖3.编写实体类代码4.编写kafka主题管理代码5.编写kafka生产者代码6
大数据魔法师·2023-12-15 22:25

kakfa实战指引-实时海量流式数据处理

尽管Kafka最初是在社交网络的幕后为实时应用程序和数据流提供支持的，但现在您可以在每个可以想象的行业中看到它成为下一代架构的核心。大
Virony·2023-12-15 22:54

kafka学习笔记--安装部署、简单操作

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录1安装部署1.1集群规划1.2集群部署2命令行操作2.1主题2.2生产者2.3消费者2.4消费者组1安装部署
向着百万年薪努力的小赵·2023-12-15 22:54

kafka高吞吐、低延时、高性能的实现原理

作者：源码时代-Raymon老师Kafka的高吞吐、低延时、高性能的实现原理Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
墨家巨子@俏如来·2023-12-15 21:27

RabbitMQ详细使用以及Linux安装流程

是一个开源的遵循AMQP协议实现的基于Erlang语言编写，使用前需安装相应版本的Erlang和RabbitMQ，运行机制不做过多赘述，通过应用解耦、任务异步处理、削峰填谷特点提升中间件的优势，但在吞吐量上相对于kafka
smdoubky·2023-12-15 21:57

14-Kafka-Day02

第4章KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka信息（1）启动Zookeeper客户端。
YuPangZa·2023-12-15 21:55

kafka 常用命令【学习笔记】

Kafka环境变量配置exportKAFKA_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kafkaexportPATH
专注代码七年·2023-12-15 21:24

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（3） - redis

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:52

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（2） - jdbc/mysql

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:22

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（1） - File、Socket、console

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:21

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例 - 完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:21

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（5）- clickhouse

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:51

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（2）- 自定义、mysql

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（3）- kafka

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（1） - File、Socket、Collection

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:19

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（4）- redis -异步读取

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:19

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。
大数据流动·2023-12-15 21:01

flink1.12.4消费kafka 报错 The coordinator is not available

报错Youshouldretrycommittingthelatestconsumedoffsets.Causedby:org.apache.kafka.common.errors.CoordinatorNotAvailableException
青云游子·2023-12-15 21:07

深入浅出理解kafka存储机制

前言Kafka是为了解决大数据的实时日志流而生的,每天要处理的日志量级在千亿规模。对于日志流的特点主要包括：数据实时产生。海量数据存储与处理。
乖的小肥羊·2023-12-15 21:03

Kafka | 一篇文章带你快速搞定Kafka术语

在Kafka的世界中有很多概念和术语是需要你提前理解并熟练掌握的，这对于后面你深入学习Kafka各种功能和特性将大有裨益。下面我来盘点一下Kafka的各种术语。
诡异的笑容·2023-12-15 21:33

Kafka服务公网访问终极解决

公司部署的互联网Kafka服务器一直无法设置公网访问，查询大量无果。后发现不是配置的原因，属于端口映射的问题，专业术语为net回流。
ckafkasnd·2023-12-15 21:33

认识kafka

文章目录一、了解kafka1.什么是kafka2.kafka的特性二、kafka中的基本概念三、kafka的应用场景一、了解kafka1.什么是kafkaKafka是一种高吞吐量的分布式发布订阅消息系统
张烫麻辣亮。·2023-12-15 21:02

【中间件学习篇_Kafka】搞定kafka术语 No.4

目录一、kafka架构图二、Kafka相关概念及术语三、参考资料在Kafka的世界中有很多概念和术语需要熟练掌握，有助于深入理解Kafka原理。
C-Jonn·2023-12-15 21:32

Kafka提升--流式处理（1）

1、什么是流式处理先来看看什么是数据流（也被称为“事件流”或“流数据”）。首先，数据流是无边界数据集的抽象表示。无边界意味着无限和持续增长。无边界数据集之所以是无限的，是因为随着时间的推移，新的记录会不断加入进来。这个定义已经被包括Google和Amazon在内的大部分公司所采纳。这个简单的模型（事件流）可以表示很多业务活动，比如信用卡交易、股票交易、包裹递送、流经交换机的网络事件、制造商设备传感
东谌·2023-12-15 21:32

分布式消息中间件-kafka

Kafka基础Kafka是一个分布式的基于发布/订阅模式的消息引擎系统削峰填谷应用解耦异步处理理高吐出（10-20w的QPS）高性能架构图Kafka用zk管理broker搞定术语生产者：Producer
佳佳乐2503·2023-12-15 21:31

一篇文章带你搞定Kafka！

ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点。
vthinkwen·2023-12-15 21:31

kafka初识

吞吐量单位时间内处理的数据量。讲求的单位时间内处理的数据量要大。跟他对比的是实时性，它要求的是响应时间要快。请介绍一下zookeeper(Zookeeper协同的是什么)概念说明Zk是分布式环境下的第三方协同服务，帮助分布式系统，比如存储、计算、调度等均需要协同服务。特点特征简单、易使用、高效、稳定应用场景核心是要解决一致性问题分布式环境下的命名一致性问题分布式服务环境下的高可用性问题HA问题Hi
TSBigDate·2023-12-15 21:30

利用 docker 掌握 kafka 总集篇

文章目录第一节Kafka集群承前Kafka集群搭建**概述****操作流程**Kafka集群快速搭建安装Docker**zookeeper**集群**新建docker网络****yml脚本****验证*
lluxury·2023-12-15 21:59

8、Kafka 消息交付可靠性保障（幂等生产者和事务生产者是一回事吗？）

Kafka消息交付可靠性保障（幂等生产者和事务生产者是一回事吗？）
cjh-Java·2023-12-15 21:29

9、消费者组到底是什么？（高扩展性）

（高扩展性）1、消费者组的3个特性2、两种消息引擎模型的实现2.1、点对点模型2.2、发布/订阅模型2.3、混合模型-消费者组机制3、针对ConsumerGroup，Kafka是怎么管理位移的4、重平衡
cjh-Java·2023-12-15 21:29

7、无消息丢失配置怎么实现？

1、Kafka保障消息不丢失的限度核心要素一：“已提交的消息”核心要素一：“有时限”2、“消息丢失”案例案例1：生产者程序丢失数据案例2：消费者程序丢失数据3、最佳实践1、Kafka保障消息不丢失的限度首先要明确
cjh-Java·2023-12-15 21:59

2、快速搞定Kafka术语

快速搞定Kafka术语Kafka服务端3层消息架构Kafka客户端Broker如何持久化数据小结Kafka服务端3层消息架构第1层是主题层，每个主题可以配置M个分区，而每个分区又可以配置N个副本。
cjh-Java·2023-12-15 21:25

kafka创建新topic

创建topicbin/kafka-topics.sh--create--bootstrap-serverlocalhost:9092--replication-factor1--partitions1-
看完能不能点赞？·2023-12-15 19:53

【SpringBoot系列】spring-kafka consumer源码分析

‍♂️个人主页：@香菜的个人主页，加ischongxin，备注csdn✍作者简介：csdn认证博客专家，游戏开发领域优质创作者,华为云享专家，2021年度华为云年度十佳博主希望大家多多支持，我们一起进步！如果文章对你有帮助的话，欢迎评论点赞收藏加关注+系列文章：SpringBoot学习大纲，可以留言自己想了解的技术点目录1、spring-
香菜+·2023-12-15 18:05

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

Debezium日常分享系列之：Debezium 2.5.0.CR1发布

日常分享系列之：Debezium2.5.0.CR1发布一、重大变化1.CloudEvent标头的架构名称2.MySQLBIT默认长度二、新功能和改进1.重新选择列2.DebeziumServer-用于ApacheKafka
最笨的羊羊·2023-12-15 16:29

flume系列之：使用通配符批量消费kafka的Topic

flume系列之：使用通配符批量消费kafka的Topic#指定kafkatopic使用注释的这个#kafka_topics:"optics-production-data"#flume使用通配符kafka_topics_regex
最笨的羊羊·2023-12-15 16:59

flume系列之：监控flume agent channel的填充百分比

flumeagentchannel的填充百分比一、监控效果二、获取flumeagent三、飞书告警四、获取每个flumeagentchannel的填充百分比一、监控效果二、获取flumeagentdefgetKafkaFlumeAgent
最笨的羊羊·2023-12-15 16:17

Flink反压如何查看和优化

我们在使用Flink程序进行流式数据处理时，由于种种原因难免会遇到性能问题，如我们在使用Flink程序消费kafka数据，可能会遇到kafka数据有堆积的情况，并且随着时间的推移，数据堆积越来越多，这就表名消费处理数据的速度没有跟上生产的速度
后季暖·2023-12-15 15:18

flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理

背景在处理flink的数据流时，比如处理商品流时，一般我们从kafka中只拿到了商品id，此时我们需要把商品的其他配置信息比如品牌品类等也拿到，此时就需要关联上外部配置表来达到丰富数据流的目的，如果外部配置表很大
lixia0417mul2·2023-12-15 15:08

七、kafka怎么保证不丢失消息和不重复消费消息

Kafka中怎么保证消息不会丢失和不重复消费？从两个方面分析：消息推送和消息消费。也就是生产者和消费者两方面。首先我们需要知道topic的概念。
努力的布布·2023-12-15 15:54

便捷搭建 Zookeeper 服务器的方法，好用，收藏~

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。整理了一份Java面试宝典完整版PDFZo
程序员白楠楠·2023-12-15 14:03

Topic与Partition

示意图1.Topic:每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic(主题).2.Partition:Partition是物理上的概念,每个Topic包含一个或多个partition.Topic
鬼古神月·2023-12-15 13:36

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

事件处理：SpringBoot+Kafka

文章目录关于Kafka安装kafka服务实战关于Kafkakafka官网：http://kafka.apache.org/是一个分布式的、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统
高 朗·2023-12-15 11:22

大半夜学计算机的小姨子不睡觉？居然看这个？

、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka
好想吃汉堡·2023-12-15 10:34

阿里云SLS日志服务之数据导入与加工处理

一、背景采集vm虚拟机上的Log日志文本，如果需要经过特殊的加工处理，在本文主要讲述如何在SLS把kafka采集上来的数据经导入并加工后存储。
天草二十六_简村人·2023-12-15 08:02

《PySpark大数据分析实战》-07.Spark本地模式安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 07:31
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他