Kafka原理解析

消息队列 kafka、rabbitmq、rocketmq、activemq概述

什么是消息队列？消息队列是一种在应用程序之间传递消息的通信模式。它基于生产者-消费者模型，其中生产者将消息发送到队列，而消费者从队列中接收和处理消息。消息队列充当了生产者和消费者之间的中介，使得两者可以独立地进行通信，而不需要直接的点对点连接。为什使用消息队列？消息队列的作用主要包括以下几个方面：-异步通信：消息队列可以实现异步通信，生产者将消息发送到队列后即可继续执行，而不需要等待消费者的响应。
zgcyyh·2023-12-22 11:05

kerberos认证Flink的kafka connector和kafka client配置

一、flink-connector-kakfa1.kafka配置文件kafkajaas必须配置，如果缺少，则报一下错误。
lisacumt·2023-12-22 11:23

Linux下查看某一进程所占用内存的方法

Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如ps-ef|grepkafka可以看到kafka这个程序的进程id可以看到是2913，现在可以使用如下命令查看内存：top-p2913
刘sir--·2023-12-22 11:36

Kafka知识库 - 索引目录 - 待做

Kafka基础—1、Kafka基础概念&Kafka架构&Kafka安装与配置Kafka基础—2、Kafka生产者APIKafka基础—3、Kafka消费者APIKafka基础—4、KafkaStreams
风不归Alkaid·2023-12-22 10:18

Kafka基础—1、Kafka基础概念 & Kafka架构 & Kafka安装与配置

Kafka知识库-索引目录一、引言1、什么是Kafka？Kafka是由ApacheSoftwareFoundation开发的分布式流处理平台，它是一种高吞吐量、可扩展、持久化的消息中间件。
风不归Alkaid·2023-12-22 10:13

Springboot整合kafka基本使用

项目搭建同样的，需要我们搭建一个maven工程，整合非常的简单，需要用到:    org.springframework.kafka    spring-kafka来一起看下完整的pom.xml:    
努力的小周同学·2023-12-22 10:37

Kafka核心逻辑介绍 | 京东云技术团队

1，概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft
京东云开发者·2023-12-22 09:33

Linux 部署项目

文章目录一、官网下载压缩包二、配置安装JDK:maven:mysql:redis:kafka:elasticsearch:wkhtmltopdf：tomcat：nginx：成功心态炸裂！！！
一只小逸白·2023-12-22 09:57

kafka与beanstalk的区别

Kafka（ApacheKafka）和Beanstalk（Beanstalkd）是两个不同的消息中间件系统，它们在设计和用途上有一些显著的区别。
蹲在角落数蚂蚁·2023-12-22 08:13

docker 部署kafka

随笔记录目录1.安装zookeeper2.安装Kafka2.1拉取kafkaimage2.2查询本地dockerimages2.3查看本地容器（dockercontainer）2.3.1查看本地已启动的
芝麻馅汤圆儿·2023-12-22 08:40

laravel框架引用kafka

在Laravel中操作Kafka，可以使用php-rdkafka扩展或confluent-kafka-php扩展。
蹲在角落数蚂蚁·2023-12-22 08:09

kafka offset sasl加密连接

kafka-tool（offset）进行SCRAM连接，直接上图填写jaas的认证（账密引用包）
风噪·2023-12-22 08:35

Docker搭建Kafka教程（python使用kafka基础用法，生产消费）

图解kafka架构与工作原理-知乎(zhihu.com)https://zhuanlan.zhihu.com/p/442468709一、Docker网络创建Docker支持多种网络模式，包括bridge
迷糊小面包·2023-12-22 08:35

【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse

【Flink-Kafka-To-ClickHouse】使用Flink实现Kafka数据写入ClickHouse1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2
bmyyyyyy·2023-12-22 07:03

Kafka集群架构原理(待完善)

kafka在zookeeper数据结构controller选举客户端同时往zookeeper写入,第一个写入成功(临时节点),成为leader,当leader挂掉,临时节点被移除,监听机制监听下线,重新竞争
kk_0910·2023-12-22 07:26

Rabbitmq如何保证消息不丢失

下面从rabbitmq和kafka分别说一下，丢失数据的场景，A:生产者弄丢了数据生产者将数据发送到rabbitmq的时候，可能在传输过程中因为
虾米咬小米·2023-12-22 07:58

【JVM基础】 JVM 如何加载一个类以及类加载机制

1、包含main方法的主类publicclassKafka{publicstaticvoidmain
程序员不弃·2023-12-22 07:21

9

Kafka：http://www.cnblogs.com/cyfonly/p/5954614.htmlhttp://blog.csdn.net/u013256816/article/details/71091774https
沉淀_0x0·2023-12-22 05:57

Kafka 如何保证高可用？

Kafka的基本架构组成是：由多个broker组成一个集群，每个broker是一个节点；当创建一个topic时，这个topic会被划分为多个partition，每个partition可以存在于不同的broker
.L.JIN.Jie·2023-12-22 01:56

电商系统订单到期关闭如何实现（订单超时未支付自动取消）

订单的到期关闭的实现有很多种方式，分别有定时任务jdk的delayqueue时间轮kafkarocketmq延迟消息rabbitmq死信队列rabbitmq插件r
思静语·2023-12-21 22:56

Kerberos原理安装集成kafka例子

目录Kerbeos简介Kerbeos认证流程Kerberos安装步骤kerberos简单操作Kafka集成Kerberos例子本地环境java客户端消费测试代码错误记录Kerbeos简介Kerberos
掌心里的海-Canace·2023-12-21 20:54

Kerberos认证的kafka常见错误记录

前言发现网上与kerberos有关报错信息少之又少，踩过的坑放在这里，希望可以帮到后来人。报错信息总结1.principal和keytab不匹配，这种问题，只需要在jaas文件中指定正确的账号密码即可Causedby:javax.security.auth.login.LoginException:Couldnotlogin:theclientisbeingaskedforapassword,bu
iFence·2023-12-21 20:23

Clock skew too great(37)-PREAUTH_FAILED

问题：启动服务时failedtoconstuctkafkaconsumer原因：电脑时间和kafka时间不一致引起的。解决：一定要修改电脑时区，然后修改电脑具体日期时间。
一程序一世界·2023-12-21 20:53

kafka消费Clock skew too great (37)，CPU打爆

Novalidcredentialsprovided(Mechanismlevel:Clockskewtoogreat(37)-PROCESS_TGS)记一次生产事故，springboot消费kafka
Amarone·2023-12-21 20:52

Flink电商实时数仓（三）

消费Kafkaods业务
十七✧ᐦ̤·2023-12-21 18:48

采用Flume-kafka-Flume将数据导入到HDFS中

首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume，然后进行配置下载完成后，解压tar-zxvfapache-flume-1.9.0-bin解压完成之后，进入conf目录下面，把flume-env.sh.template文件更改为flume-env.sh，然后进入flume-env.sh配置jdk的路径。exportJAVA_HOME
坠机的舒克·2023-12-21 17:55

Kafka | Flume Sink日志到Kafka&HDFS

记录下将服务端AC设备产生的数据采集到Flume中，然后基于FlumeSink把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于SparkStreaming
点滴笔记·2023-12-21 17:53

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等。示
HaveAGoodDay.·2023-12-21 17:52

2023大数据应用开发赛题03套

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三
长风有续X·2023-12-21 17:52

在Docker中安装kafka遇到问题记录

命令含义解答：在docker安装kafka的时候，启动kafka的时候会执行下面语句：dockerrun-d--log-driverjson-file--log-optmax-size=100m--log-optmax-file
凯哥Java·2023-12-21 16:39

【算法Hot100系列】删除链表的倒数第 N 个结点

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-21 16:55

生产经验——分区的分配以及再平衡

bin/kafka-topics.sh--bootstrap-serverhadoop102:9092--alter--topicfirst--partitions7复制CustomConsumer类，
zmx_messi·2023-12-21 15:03

Kafka发送流程

首先我们要将外部数据导入到集群，首先在main线程中创建producer对象，调用send方法发送数据，拦截器为可选项，通过序列化器对数据序列化，因为需要跨节点通讯，分区器会对每个数据进行分区，发送到指定分区；所谓的分区其实是一个缓存队列（双端队列），队列大小为32m，Batchsize为16k，Batchsize装满之后，或者lingerms时间到了，sender线程就来主动拉取数据；发送到集群
zmx_messi·2023-12-21 15:59

Kafka集群安装部署（自带zookeeper）

•Kafka将消息以topic为单位进行归纳。•将向Kafkatopic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.
magic33416563·2023-12-21 14:16

Zookeeper集群与kafka集群部署搭建

Zookeeper集群与kafka集群部署搭建Zookeeper概述Zookeeper定义Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper应用场景Zookeeper
搬着砖，敲着代码·2023-12-21 14:14

超实用的Kafka集群搭建(有zk版)

前言本文讲述超实用的Kafka集群搭建流程，Kafka2.8以前的集群时依赖于ZooKeeper做服务协调，而2.8开始移除了Zookeeper的依赖（后续会出文章讲解这块的功能情况）。
不认输的猴·2023-12-21 14:43

Kafka集群监控、安全机制与最佳实践

Kafka监控安装Kafka集群监控方案选择：Kafka只能依靠kafka-run-class.sh等命令进行管理KafkaManager（CMAK）是目前比较常用的监控工具，它有如下功能：管理多个集群轻松检查群集状态
端碗吹水·2023-12-21 13:26

Java异步编程源码及原理解析：Future、FutureTask、@Async、ForkJoin框架、CompletableFuture、Redis队列、Reactive响应式编程的优缺点及适用场景

Java异步编程源码及原理解析目录1.Fork-Join2.FutureTask3.Async注解介绍4.CompletableFuture5.中间件+线程池会当凌绝顶，一览众山小。
DougLeaMrConcurrency·2023-12-21 13:28

《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:45

《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:44

《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:08

【大数据面试】Kafka面试题与答案

介绍下Kafka，Kafka的作用?Kafka的组件?适用场景?Kafka作为消息队列，它可解决什么样的问题?说下Kafka架构说下Kafka的特点，优缺点Kafka相比于其它消息组件有什么好处?
话数Science·2023-12-21 11:34

Java基础入门教程！从高级到实战讲的太清楚了

Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。
spring知识点大全·2023-12-21 11:20

springboot中使用kafka

记录一下自己学习kafka的经验吧。站在小白新手的角度，从安装到使用，java代码实现。一、关于消息队列的作用与选择。
Bill老罗·2023-12-21 10:56

吸金树脂在提金技术上化学原理解析

金的存在金会伴生在镍、铜、铁、钴等矿石中，通过加入药液形成含金矿浆（药液有王水、氰化物、硫氰化物等浸金剂）。金在一般条件下不会以金离子的形式存在，主要以Au(CN)2-、Au(CN)4-、Au(Cl)4-、[Au(S2O3)2］3-等络合金的阴离子形式存在。所以，从金的氰化液中提取金氰络离子，通常采用阴离子交换树脂，交换的反应为：R-OH＋Au(CN)2－==RAu(CN)2＋OH－应用行业目前，
卡卡的文章1·2023-12-21 10:56

Hyperledger Fabric 实战(九):生产级多组织的kafka共识网络详解

>>>搭建一个三个组织的kafka共识网络其主要目录结构如下:.
weixin_34417183·2023-12-21 10:37

Kafka--Kafka日志索引详解以及生产常见问题分析与总结

一、Kafka的Log日志梳理这一部分数据主要包含当前Broker节点的消息数据(在Kafka中称为Log日志)。这是一部分无状态的数据，也就是说每个Kafka的Broker节点都是以相同的逻辑运行。
长情知热爱·2023-12-21 10:03

Kafka 基础快速入门

1、生产者1、生产者发送消息流程配置生产者参数属性和创建生产者对象构建消息：ProducerRecord发送消息：Send关闭生产者2、消费者1、消费者接受消息流程配置消费者参数属性和创建消费者对象订阅主题拉取消息并进行消费处理提交消费偏移量，关闭消费者2、消费者和消费组每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者。消费者和消费组与分区的关系如上
顾十方·2023-12-21 09:32

【Kafka每日一问】kafka中partition 的多个节点是分布在不同的broker上面吗

kafka中partition的多个节点是分布在不同的broker上面吗是的，Kafka中的partition(分区)会被复制到不同的broker上。
jianjun_fei·2023-12-21 09:31

【Vue原理解析】之异步与优化

引言Vue是一款流行的JavaScript框架，它提供了一些强大的特性来提升应用程序的性能和用户体验。在本文中，我们将深入探讨Vue的异步更新机制和一些优化技巧，帮助您更好地理解和应用这些特性。异步更新机制Vue使用异步更新机制来提高渲染性能。当数据发生变化时，Vue并不立即重新渲染整个组件树，而是将更新操作推入一个队列中，并在下一个事件循环中执行。这样可以将多个数据变化合并为一个更新操作，减少不
俊刚、·2023-12-21 09:59
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他