Kafka专题学习

Kafka集群架构原理(待完善)

kafka在zookeeper数据结构controller选举客户端同时往zookeeper写入,第一个写入成功(临时节点),成为leader,当leader挂掉,临时节点被移除,监听机制监听下线,重新竞争
kk_0910·2023-12-22 07:26

Rabbitmq如何保证消息不丢失

下面从rabbitmq和kafka分别说一下，丢失数据的场景，A:生产者弄丢了数据生产者将数据发送到rabbitmq的时候，可能在传输过程中因为
虾米咬小米·2023-12-22 07:58

【JVM基础】 JVM 如何加载一个类以及类加载机制

1、包含main方法的主类publicclassKafka{publicstaticvoidmain
程序员不弃·2023-12-22 07:21

9

Kafka：http://www.cnblogs.com/cyfonly/p/5954614.htmlhttp://blog.csdn.net/u013256816/article/details/71091774https
沉淀_0x0·2023-12-22 05:57

Kafka 如何保证高可用？

Kafka的基本架构组成是：由多个broker组成一个集群，每个broker是一个节点；当创建一个topic时，这个topic会被划分为多个partition，每个partition可以存在于不同的broker
.L.JIN.Jie·2023-12-22 01:56

电商系统订单到期关闭如何实现（订单超时未支付自动取消）

订单的到期关闭的实现有很多种方式，分别有定时任务jdk的delayqueue时间轮kafkarocketmq延迟消息rabbitmq死信队列rabbitmq插件r
思静语·2023-12-21 22:56

Kerberos原理安装集成kafka例子

目录Kerbeos简介Kerbeos认证流程Kerberos安装步骤kerberos简单操作Kafka集成Kerberos例子本地环境java客户端消费测试代码错误记录Kerbeos简介Kerberos
掌心里的海-Canace·2023-12-21 20:54

Kerberos认证的kafka常见错误记录

前言发现网上与kerberos有关报错信息少之又少，踩过的坑放在这里，希望可以帮到后来人。报错信息总结1.principal和keytab不匹配，这种问题，只需要在jaas文件中指定正确的账号密码即可Causedby:javax.security.auth.login.LoginException:Couldnotlogin:theclientisbeingaskedforapassword,bu
iFence·2023-12-21 20:23

Clock skew too great(37)-PREAUTH_FAILED

问题：启动服务时failedtoconstuctkafkaconsumer原因：电脑时间和kafka时间不一致引起的。解决：一定要修改电脑时区，然后修改电脑具体日期时间。
一程序一世界·2023-12-21 20:53

kafka消费Clock skew too great (37)，CPU打爆

Novalidcredentialsprovided(Mechanismlevel:Clockskewtoogreat(37)-PROCESS_TGS)记一次生产事故，springboot消费kafka
Amarone·2023-12-21 20:52

Flink电商实时数仓（三）

消费Kafkaods业务
十七✧ᐦ̤·2023-12-21 18:48

采用Flume-kafka-Flume将数据导入到HDFS中

首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume，然后进行配置下载完成后，解压tar-zxvfapache-flume-1.9.0-bin解压完成之后，进入conf目录下面，把flume-env.sh.template文件更改为flume-env.sh，然后进入flume-env.sh配置jdk的路径。exportJAVA_HOME
坠机的舒克·2023-12-21 17:55

Kafka | Flume Sink日志到Kafka&HDFS

记录下将服务端AC设备产生的数据采集到Flume中，然后基于FlumeSink把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于SparkStreaming
点滴笔记·2023-12-21 17:53

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等。示
HaveAGoodDay.·2023-12-21 17:52

2023大数据应用开发赛题03套

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三
长风有续X·2023-12-21 17:52

在Docker中安装kafka遇到问题记录

命令含义解答：在docker安装kafka的时候，启动kafka的时候会执行下面语句：dockerrun-d--log-driverjson-file--log-optmax-size=100m--log-optmax-file
凯哥Java·2023-12-21 16:39

【算法Hot100系列】删除链表的倒数第 N 个结点

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-21 16:55

生产经验——分区的分配以及再平衡

bin/kafka-topics.sh--bootstrap-serverhadoop102:9092--alter--topicfirst--partitions7复制CustomConsumer类，
zmx_messi·2023-12-21 15:03

Kafka发送流程

首先我们要将外部数据导入到集群，首先在main线程中创建producer对象，调用send方法发送数据，拦截器为可选项，通过序列化器对数据序列化，因为需要跨节点通讯，分区器会对每个数据进行分区，发送到指定分区；所谓的分区其实是一个缓存队列（双端队列），队列大小为32m，Batchsize为16k，Batchsize装满之后，或者lingerms时间到了，sender线程就来主动拉取数据；发送到集群
zmx_messi·2023-12-21 15:59

Kafka集群安装部署（自带zookeeper）

•Kafka将消息以topic为单位进行归纳。•将向Kafkatopic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.
magic33416563·2023-12-21 14:16

Zookeeper集群与kafka集群部署搭建

Zookeeper集群与kafka集群部署搭建Zookeeper概述Zookeeper定义Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper应用场景Zookeeper
搬着砖，敲着代码·2023-12-21 14:14

超实用的Kafka集群搭建(有zk版)

前言本文讲述超实用的Kafka集群搭建流程，Kafka2.8以前的集群时依赖于ZooKeeper做服务协调，而2.8开始移除了Zookeeper的依赖（后续会出文章讲解这块的功能情况）。
不认输的猴·2023-12-21 14:43

Kafka集群监控、安全机制与最佳实践

Kafka监控安装Kafka集群监控方案选择：Kafka只能依靠kafka-run-class.sh等命令进行管理KafkaManager（CMAK）是目前比较常用的监控工具，它有如下功能：管理多个集群轻松检查群集状态
端碗吹水·2023-12-21 13:26

《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:45

《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:44

《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:08

【大数据面试】Kafka面试题与答案

介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列，它可解决什么样的问题?说下Kafka架构说下Kafka的特点，优缺点Kafka相比于其它消息组件有什么好处?
话数Science·2023-12-21 11:34

Java基础入门教程！从高级到实战讲的太清楚了

Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。
spring知识点大全·2023-12-21 11:20

springboot中使用kafka

记录一下自己学习kafka的经验吧。站在小白新手的角度，从安装到使用，java代码实现。一、关于消息队列的作用与选择。
Bill老罗·2023-12-21 10:56

Hyperledger Fabric 实战(九):生产级多组织的kafka共识网络详解

>>>搭建一个三个组织的kafka共识网络其主要目录结构如下:.
weixin_34417183·2023-12-21 10:37

Kafka--Kafka日志索引详解以及生产常见问题分析与总结

一、Kafka的Log日志梳理这一部分数据主要包含当前Broker节点的消息数据(在Kafka中称为Log日志)。这是一部分无状态的数据，也就是说每个Kafka的Broker节点都是以相同的逻辑运行。
长情知热爱·2023-12-21 10:03

Kafka 基础快速入门

1、生产者1、生产者发送消息流程配置生产者参数属性和创建生产者对象构建消息：ProducerRecord发送消息：Send关闭生产者2、消费者1、消费者接受消息流程配置消费者参数属性和创建消费者对象订阅主题拉取消息并进行消费处理提交消费偏移量，关闭消费者2、消费者和消费组每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。消费者和消费组与分区的关系如上
顾十方·2023-12-21 09:32

【Kafka每日一问】kafka中partition 的多个节点是分布在不同的broker上面吗

kafka中partition的多个节点是分布在不同的broker上面吗是的，Kafka中的partition(分区)会被复制到不同的broker上。
jianjun_fei·2023-12-21 09:31

Kafka消息队列设计 - Topic、Partition、Offset分析，并整合Spring Boot项目

引言Kafka是一个强大的分布式消息队列系统，广泛应用于各种实时数据处理和事件驱动的场景。
程序员王也·2023-12-21 09:26

【实习记录】第2周 2023.07.03-2023.07.07

实习记录：1.Kafka【入门】就这一篇！Kafka【入门】就这一篇！
叁 石·2023-12-21 08:13

关于MQ，你了解多少？（干货分享之二）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:09

关于MQ，你了解多少？（干货分享之一）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:39

Kafka [Kraft模式]教程（一）

Kafka[Kraft模式]教程（一）说明Kafka版本：3.3.1Kraft模式！准备三台服务器我是通过vagrant搭配virtualbox创建的虚拟机。
超哥聊编程·2023-12-21 07:34

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink（十）【处理函数】

学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

黑马头条--day06文章上下架--kafka消息队列

目录一.自媒体文章上下架二.kafka概述1.消息中间件对比2.kafka介绍3.kafka安装配置三.kafaka入门（1）创建kafka-demo项目，导入依赖（2）生产者发送消息（3）消费者接收消息总结
可爱的鸡仔·2023-12-21 07:00

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink SQL流表与维表join实践

流表就是像kafka这种消息队列中的数据。维表是像MySQL中的静态数据。想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。
iFence·2023-12-21 06:37

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

下面代码的数据来自metricbeat，本机启动metricbeat将数据接入kafka，flink消费kafka中
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

阅读此文默认读者对docker、docker-compose有一定了解。环境docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081:80
iFence·2023-12-21 06:33

2023_Spark_实验三十二：消费Kafka数据并保存到MySQL中

实验目的：掌握Scala开发工具消费Kafka数据，并将结果保存到关系型数据库中实验方法：消费Kafka数据保存到MySQL中实验步骤：一、创建Job_ClickData_Process代码如下：packageexamsimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.TopicP
pblh123·2023-12-21 06:46

Debezium发布历史06

Debezium0.2.3发布七月26,2016作者：RandallHauch发布mysqldocker欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.我很高兴地宣布Debezium0.2.3现已可与KafkaConnect0.9.0.1
大大蚊子·2023-12-21 02:04

Debezium发布历史03

DebeziumonKubernetesMay31,2016byChristianPosta发布mysqldocker更新（2019年10月11日）：在Kubernetes上运行Debezium（以及一般的ApacheKafka
大大蚊子·2023-12-21 01:34

「Java工具类」BeanCopyUtil对象复制工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka
程序员阿宁·2023-12-21 01:37
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他