Kafka深度剖析

Rabbitmq如何保证消息不丢失

下面从rabbitmq和kafka分别说一下，丢失数据的场景，A:生产者弄丢了数据生产者将数据发送到rabbitmq的时候，可能在传输过程中因为
虾米咬小米·2023-12-22 07:58

【JVM基础】 JVM 如何加载一个类以及类加载机制

1、包含main方法的主类publicclassKafka{publicstaticvoidmain
程序员不弃·2023-12-22 07:21

9

Kafka：http://www.cnblogs.com/cyfonly/p/5954614.htmlhttp://blog.csdn.net/u013256816/article/details/71091774https
沉淀_0x0·2023-12-22 05:57

Kafka 如何保证高可用？

Kafka的基本架构组成是：由多个broker组成一个集群，每个broker是一个节点；当创建一个topic时，这个topic会被划分为多个partition，每个partition可以存在于不同的broker
.L.JIN.Jie·2023-12-22 01:56

团油加油优惠真相大白：省钱还是省心？

本文将围绕这一主题进行深度剖析。首先，我们要了解团油APP的运作模式。团油APP是一个集结众多加油站、为车主提供优惠加油服务的平台。它通过与各大加油站合作，争取到较低的油价，然后以团购
好项目高省·2023-12-21 23:07

电商系统订单到期关闭如何实现（订单超时未支付自动取消）

订单的到期关闭的实现有很多种方式，分别有定时任务jdk的delayqueue时间轮kafkarocketmq延迟消息rabbitmq死信队列rabbitmq插件r
思静语·2023-12-21 22:56

Kerberos原理安装集成kafka例子

目录Kerbeos简介Kerbeos认证流程Kerberos安装步骤kerberos简单操作Kafka集成Kerberos例子本地环境java客户端消费测试代码错误记录Kerbeos简介Kerberos
掌心里的海-Canace·2023-12-21 20:54

Kerberos认证的kafka常见错误记录

前言发现网上与kerberos有关报错信息少之又少，踩过的坑放在这里，希望可以帮到后来人。报错信息总结1.principal和keytab不匹配，这种问题，只需要在jaas文件中指定正确的账号密码即可Causedby:javax.security.auth.login.LoginException:Couldnotlogin:theclientisbeingaskedforapassword,bu
iFence·2023-12-21 20:23

Clock skew too great(37)-PREAUTH_FAILED

问题：启动服务时failedtoconstuctkafkaconsumer原因：电脑时间和kafka时间不一致引起的。解决：一定要修改电脑时区，然后修改电脑具体日期时间。
一程序一世界·2023-12-21 20:53

kafka消费Clock skew too great (37)，CPU打爆

Novalidcredentialsprovided(Mechanismlevel:Clockskewtoogreat(37)-PROCESS_TGS)记一次生产事故，springboot消费kafka
Amarone·2023-12-21 20:52

Flink电商实时数仓（三）

消费Kafkaods业务
十七✧ᐦ̤·2023-12-21 18:48

采用Flume-kafka-Flume将数据导入到HDFS中

首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume，然后进行配置下载完成后，解压tar-zxvfapache-flume-1.9.0-bin解压完成之后，进入conf目录下面，把flume-env.sh.template文件更改为flume-env.sh，然后进入flume-env.sh配置jdk的路径。exportJAVA_HOME
坠机的舒克·2023-12-21 17:55

Kafka | Flume Sink日志到Kafka&HDFS

记录下将服务端AC设备产生的数据采集到Flume中，然后基于FlumeSink把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于SparkStreaming
点滴笔记·2023-12-21 17:53

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等。示
HaveAGoodDay.·2023-12-21 17:52

2023大数据应用开发赛题03套

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三
长风有续X·2023-12-21 17:52

深度剖析ja3指纹及突破

原帖地址：深度剖析ja3指纹及突破(qq.com)已经发公众号的为什么还发csdn有的圈内朋友，不经过我的允许，删减摘录我公众号的内容，这里就不提谁了，心里清楚，还能获得一些关注和流量。
I am geekbyte·2023-12-21 17:42

tls/ja3指纹补充说明

【猛男落泪】前言之前那篇深度剖析ja3指纹因为一些不可抗力原因删除，删除之后发现适得其反，所以也别找我要了（哭了，卧槽...）也有很多朋友遇
I am geekbyte·2023-12-21 17:12

深度剖析数据在内存中的存储

目录1.数据类型介绍1.1类型的基本归类：2.整形在内存中的存储2.1原码、反码、补码2.2大小端介绍2.3练习3.浮点型在内存中的存储3.1一个例子3.2浮点数存储规1.数据类型介绍基本的内置类型：char//字符数据类型short//短整型int//整形long//长整形longlong//更长整形folat//单精度浮点数double//双精度浮点数以及他们所占存储空间的大小。类型的意义：1
xi_nian123·2023-12-21 16:04

在Docker中安装kafka遇到问题记录

命令含义解答：在docker安装kafka的时候，启动kafka的时候会执行下面语句：dockerrun-d--log-driverjson-file--log-optmax-size=100m--log-optmax-file
凯哥Java·2023-12-21 16:39

【算法Hot100系列】删除链表的倒数第 N 个结点

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-21 16:55

生产经验——分区的分配以及再平衡

bin/kafka-topics.sh--bootstrap-serverhadoop102:9092--alter--topicfirst--partitions7复制CustomConsumer类，
zmx_messi·2023-12-21 15:03

Kafka发送流程

首先我们要将外部数据导入到集群，首先在main线程中创建producer对象，调用send方法发送数据，拦截器为可选项，通过序列化器对数据序列化，因为需要跨节点通讯，分区器会对每个数据进行分区，发送到指定分区；所谓的分区其实是一个缓存队列（双端队列），队列大小为32m，Batchsize为16k，Batchsize装满之后，或者lingerms时间到了，sender线程就来主动拉取数据；发送到集群
zmx_messi·2023-12-21 15:59

Kafka集群安装部署（自带zookeeper）

•Kafka将消息以topic为单位进行归纳。•将向Kafkatopic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.
magic33416563·2023-12-21 14:16

Zookeeper集群与kafka集群部署搭建

Zookeeper集群与kafka集群部署搭建Zookeeper概述Zookeeper定义Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper应用场景Zookeeper
搬着砖，敲着代码·2023-12-21 14:14

超实用的Kafka集群搭建(有zk版)

前言本文讲述超实用的Kafka集群搭建流程，Kafka2.8以前的集群时依赖于ZooKeeper做服务协调，而2.8开始移除了Zookeeper的依赖（后续会出文章讲解这块的功能情况）。
不认输的猴·2023-12-21 14:43

Kafka集群监控、安全机制与最佳实践

Kafka监控安装Kafka集群监控方案选择：Kafka只能依靠kafka-run-class.sh等命令进行管理KafkaManager（CMAK）是目前比较常用的监控工具，它有如下功能：管理多个集群轻松检查群集状态
端碗吹水·2023-12-21 13:26

【模式识别】解锁降维奥秘：深度剖析PCA人脸识别技术

个人主页：SarapinesProgrammer系列专栏：《模式之谜|数据奇迹解码》⏰诗赋清音：云生高巅梦远游，星光点缀碧海愁。山川深邃情难晤，剑气凌云志自修。目录1初识模式识别2PCA人脸识别2.1研究目的2.2研究环境2.3研究内容2.3.1PCA人脸识别方法2.3.2PCA人脸识别流程2.3.3实验结果2.4研究体会总结1初识模式识别模式识别是一种通过对数据进行分析和学习，从中提取模式并做出
Sarapines Programmer·2023-12-21 12:05

《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:45

《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:44

《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:08

【大数据面试】Kafka面试题与答案

介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列，它可解决什么样的问题?说下Kafka架构说下Kafka的特点，优缺点Kafka相比于其它消息组件有什么好处?
话数Science·2023-12-21 11:34

Java基础入门教程！从高级到实战讲的太清楚了

Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。
spring知识点大全·2023-12-21 11:20

springboot中使用kafka

记录一下自己学习kafka的经验吧。站在小白新手的角度，从安装到使用，java代码实现。一、关于消息队列的作用与选择。
Bill老罗·2023-12-21 10:56

Hyperledger Fabric 实战(九):生产级多组织的kafka共识网络详解

>>>搭建一个三个组织的kafka共识网络其主要目录结构如下:.
weixin_34417183·2023-12-21 10:37

Kafka--Kafka日志索引详解以及生产常见问题分析与总结

一、Kafka的Log日志梳理这一部分数据主要包含当前Broker节点的消息数据(在Kafka中称为Log日志)。这是一部分无状态的数据，也就是说每个Kafka的Broker节点都是以相同的逻辑运行。
长情知热爱·2023-12-21 10:03

Kafka 基础快速入门

1、生产者1、生产者发送消息流程配置生产者参数属性和创建生产者对象构建消息：ProducerRecord发送消息：Send关闭生产者2、消费者1、消费者接受消息流程配置消费者参数属性和创建消费者对象订阅主题拉取消息并进行消费处理提交消费偏移量，关闭消费者2、消费者和消费组每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。消费者和消费组与分区的关系如上
顾十方·2023-12-21 09:32

【Kafka每日一问】kafka中partition 的多个节点是分布在不同的broker上面吗

kafka中partition的多个节点是分布在不同的broker上面吗是的，Kafka中的partition(分区)会被复制到不同的broker上。
jianjun_fei·2023-12-21 09:31

Kafka消息队列设计 - Topic、Partition、Offset分析，并整合Spring Boot项目

引言Kafka是一个强大的分布式消息队列系统，广泛应用于各种实时数据处理和事件驱动的场景。
程序员王也·2023-12-21 09:26

【实习记录】第2周 2023.07.03-2023.07.07

实习记录：1.Kafka【入门】就这一篇！Kafka【入门】就这一篇！
叁 石·2023-12-21 08:13

关于MQ，你了解多少？（干货分享之二）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:09

关于MQ，你了解多少？（干货分享之一）

导语本文梳理笔者MQ知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件
腾讯云中间件·2023-12-21 08:39

Kafka [Kraft模式]教程（一）

Kafka[Kraft模式]教程（一）说明Kafka版本：3.3.1Kraft模式！准备三台服务器我是通过vagrant搭配virtualbox创建的虚拟机。
超哥聊编程·2023-12-21 07:34

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink（十）【处理函数】

学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

黑马头条--day06文章上下架--kafka消息队列

目录一.自媒体文章上下架二.kafka概述1.消息中间件对比2.kafka介绍3.kafka安装配置三.kafaka入门（1）创建kafka-demo项目，导入依赖（2）生产者发送消息（3）消费者接收消息总结
可爱的鸡仔·2023-12-21 07:00

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink SQL流表与维表join实践

流表就是像kafka这种消息队列中的数据。维表是像MySQL中的静态数据。想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。
iFence·2023-12-21 06:37

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

下面代码的数据来自metricbeat，本机启动metricbeat将数据接入kafka，flink消费kafka中
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

阅读此文默认读者对docker、docker-compose有一定了解。环境docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081:80
iFence·2023-12-21 06:33
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他