Kafka权威指南

RabbitMQ 基础操作

RabbitMQ中消息只能存储在队列中，这一点和Kafka相反。Kafka将消息存储在topic（主题）这个逻辑层面，而相对应的队列逻辑只是topic实际存储文件中的位移标识。
萧曵 丶·2023-11-21 23:08

CentOS 搭建Kafka集群

目录1、Kafka下载2、安装Zookeeper3、安装Kafka4、springboot整合Kafka5、使用kraft注册中心1、Kafka下载进行Kafka官网下载kafkawgethttps:/
前尘忆梦Memory·2023-11-21 22:47

docker 离线部署 kafka

docker离线部署kafkadockerhub在线地址：kafka镜像地址zookeeper镜像地址目录架构1、离线安装docker和docker-compose具体请参考一下链接进行安装docker
码农~三少·2023-11-21 22:16

CentOS7安装Kafka3.4.0集群并启用SASL

1.CentOS7安装Kafka集群并启用SASL1.1.准备工作准备3台服务器ip分别为192.168.56.151，192.168.56.152，192.168.56.153安装java11KIP-
wamth·2023-11-21 22:46

CentOS 7安装单节点Kafka3.4.0

CentOS7安装单节点Kafka3.4.0准备工作安装java11KIP-750:DropsupportforJava8inKafka4.0(deprecatein3.0)Kafka从3.0版本开始废弃
wamth·2023-11-21 22:46

centos7 下 kafka 的 kraft 模式简易安装

是笔者选的放置安装包的位置，该位置可以根据习惯任意变更2.解压安装2.1.解压，并重命名文件夹ps：/opt/module/是笔者选的软件安装的位置，该位置可以根据习惯任意变更#解压文件到指定目录tar-zxvfkafka
被遗忘的优雅·2023-11-21 22:45

Kafka3.5单机部署与测试

目录一、环境准备二、配置步骤1、配置java环境2、解压下载的kafka压缩包3、配置文件server.properties,下面内容直接添加即可4、创建log目录5、配置文件：producer.properties6
Van丨Van·2023-11-21 22:14

centos离线安装kafka集群安装(Kraft模式)

前言kafka此前使用Zookeeper进行服务管理,为脱离Zookeeper,从2.8版本开始,有了自己的服务管理组件:Kraft,所以本次也是用这种模式安装的,版本为:3.4,废话不多说,开始上干货规划本次我规划了三台机器
阿亮_1024·2023-11-21 22:14

kafka_2.13-3.3.1在CentOS7中单机部署

下载好后安装：tar-zxfkafka_2.13-3.3.1.tgz然后进入解压后的目录，创建logs文件夹：cdkafka_2.13-3.3.1/mkdirlogs之后进入config目录，修改server.properties
宇宙浪子·2023-11-21 22:42

CentOS7安装部署Kafka with KRaft

文章目录CentOS7安装部署KafkawithKRaft一、前言1.简介2.架构3.环境二、正文1.部署服务器2.基础环境1）主机名2）Hosts文件3）关闭防火墙4）JDK安装部署3.单机部署1）下载软件包
趴着喝可乐·2023-11-21 22:12

Kafka 控制器（controller）

Kafka控制器（controller）在kafka集群中会存在一个或者多个broker（一个服务器就是一个broker），其中有一个broker会被选举为控制器kafkacontroller，负责管理整个集群中所有副本
Made in Program·2023-11-21 19:46

Flink架构和运行流程

用于对无界和有界数据流进行有状态计算Flink特点高吞吐和低延迟.每秒处理数百万个事件,毫秒级延迟结果的准确性.Flink提供事件时间和处理时间,对于乱序事件流,任然能保持一致且准确精确一次的状态一致性保证可以连接到最常用的外部系统,Kafka
GoldXt·2023-11-21 19:04

kafka 两台单机实现 数据同步

kafka数据同步zookeeper配置[[email protected]]#grep'^[a-Z]'conf/zoo.cfgtickTime=2000initLimit=10syncLimit
袁胜的博客·2023-11-21 18:46

Java数据同步Kafka_Kafka 数据同步

复制原理Kafka中Topic的每个Partition有一个预写式的日志文件，虽然Partition可以继续细分为若干个SegmentFile，但是对于上层应用来说可以将Partition看成最小的存储单元
柚酱·2023-11-21 18:14

Kafka 跨集群同步方案(转)

来自：http://tangzhaohui.net/524Kafka跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用
weixin_33966095·2023-11-21 18:13

Kafka 跨集群同步方案

该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。
跨过山河大海·2023-11-21 18:40

kafka-04数据同步原理ISR、ACK、LEO、HW

1.分区策略分区的原因（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以Partition为单位读写了。分区的原则我们需要将producer发送的数据封装成一个ProducerRecord对象。2.数据的可靠性为保证producer发送的数据，能可靠
m0_45987292·2023-11-21 18:08

kafka集群副本同步问题排查

背景：集群中的一台节点宕机，快速重启恢复。过程：宕机期间和集群恢复期间副本情况如下集群总Leaderreplicas和总underReplicatedpartitions情况监控状态分析：1.总Leaderreplicas数量有所下降，因为某台几点宕机，该结点上的Leader副本处于失联状态，2.总underReplicatedpartitions急速上升，under-replicated分区即失
battybaby·2023-11-21 18:07

Kafka 分区主副本同步数据过程

LEOlogendoffset日志末端偏移量，表示下一次数据写入的offset位移值，如果一个分区有三条消息，那么LEO就是3，LEO是从0开始算的；HW高水位highWaterMark缩写，控制消费者可读取消息范围，取一个partition分区中ISR中最小的LEO，consumer最多只能消费到HW所在的位置。另外每个replica都有HW,leader和follower各自负责更新自己的HW
指尖流年999·2023-11-21 18:37

Kafka 集群如何实现数据同步？

哈喽大家好，我是咸鱼最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了T﹏T刚好最近在学Kafka，于是决定写篇跟Kafka相关的文章（文中有不对的地方欢迎大家指出）考虑到有些小伙伴可能是第一次接触
咸鱼Linux运维·2023-11-21 18:36

消息队列讲解

目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。
leetcode每日一题写了吗·2023-11-21 16:25

kafka权威指南 第一章翻译 Meet Kafka

https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch01.html企业由数据所驱动的，
mydearplease·2023-11-21 15:33

大数据基础设施搭建 - Kafka（with ZooKeeper）

文章目录一、简介二、单机部署2.1上传压缩包2.2解压压缩包2.3修改配置文件（1）配置zookeeper地址（2）修改kafka运行日志(数据)存储路径2.4配置环境变量2.5启动/关闭2.6测试（1
m0_46218511·2023-11-21 15:57

log4j2发送消息至Kafka

title:自定义log4j2发送日志到Kafkatags:log4j2,kafka为了给公司的大数据平台提供各项目组的日志，而又使各项目组在改动上无感知。
Java大生·2023-11-21 14:55

kafka动态认证 自定义认证 安全认证-亲测成功

kafka动态认证自定义认证安全认证-亲测成功背景Kafka默认是没有安全机制的，一直在裸奔。用户认证功能，是一个成熟组件不可或缺的功能。
beyond阿亮·2023-11-21 14:24

MacBook Linux安装Kafka

Kafka简单介绍ApacheKafka是一个分布式的发布-订阅消息传递系统和一个强大的队列，Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统
beyond阿亮·2023-11-21 14:24

Linux解压安装Kafka

Linux解压安装KafkaMacBookLinux安装zookeeperMacBookLinux安装KafkaKafka依赖ZookeeperKafka依赖Zookeeper,可以单独安装Zookeeper
beyond阿亮·2023-11-21 14:24

kafka max.poll.records用法介绍

一、max.poll.records是什么max.poll.records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目。
黑帽子技术·2023-11-21 14:53

java kafka权限_kafka权限控制-Acl

介绍Acl表示对一个资源的访问权限。它由Resource和Acl组成。Resource表示一个具体的资源。Acl表示权限，由主体principal，是否允许permissionType，主机host，操作operation组成。Resource//ResourceType表示资源类型，name则表示资源标识符caseclassResource(resourceType:ResourceType,n
weixin_39610807·2023-11-21 14:52

python调用kafka_python 实例权限认证连接 Kafka

背景：为保证kafkatopic生产和消费的安全，需增加权限认证功能问题的解决：step1：kafkaserver增加权限认证配置：链接step2:代码实例中增加认证参数1.生产者importtimefromkafkaimportKafkaProducertopic_name
weixin_39846289·2023-11-21 14:52

【小爱学大数据】FlinkKafkaConsumer

今天小爱学习FlinkKafkaConsumer。ApacheFlink是一个流处理和批处理的开源框架，它提供了数据流程序设计模型，以及运行环境和分布式执行引擎。
爱开发V·2023-11-21 14:16

kafka权限认证 topic权限认证 权限动态认证-亲测成功

kafka权限认证topic权限认证权限动态认证-亲测成功kafka动态认证自定义认证安全认证-亲测成功MacBookLinux安装KafkaLinux解压安装Kafka介绍1、Kafka的权限分类身份认证
beyond阿亮·2023-11-21 14:13

Kafka Broker组件的功能以及设计原理剖析

Kafka组件包括Producer、Broker、Consumer以及ZooKeeper。如下图所示：Kafka组件本文将介绍KafkaBroker组件的功能以及设计原理剖析。
皮皮杂谈·2023-11-21 13:57

从今天开始写博客

毕业四年，经历两家大公司，一直在学习各种东西，简单的看过Java底层的源码，对Java的集合，并发等等基本上已经做到透彻理解，同时也通过各种书籍/课程/文章，学习了redis，mysql，zk，kafka
Android_Strange·2023-11-21 13:14

超级好用的Kafka GUI客户端

分享一个Kafka可视化工具，颜值不错，小巧干净，提供实时监控功能。想要查看Topic里的消息却找不到软件，想要查看或更新Broker、Topic配置，想要监控Broker服务器状态？
bilibili_877b·2023-11-21 13:54

万字长文：从 C# 入门学会 RabbitMQ 消息队列编程

目前社区上比较流行的消息队列有kafka、ActiveMQ、Pulsar、RabbitMQ、RabbitMQ等。笔者也编写了一系列的Kafka教程，欢迎阅读：Introduction·从C#入门Ka
快乐非自愿·2023-11-21 12:16

网约车系统的高并发设计与优化：使用消息队列kafka、以及PriorityQueue来处理下单进行派单以及优化建议

使用消息队列kafka来处理下单进行派单以及优化建议1、将订单信息发送到司机服务2、进行派单2.1、验证乘客信息2.2、计算预计费用2.3、派单给合适的司机3、优化建议和完整示例3.1、使用PriorityQueue
java编程：架构设计与企业真实项目案例·2023-11-21 11:25

win10系统kafka_2.12-3.1.0创建topic命令

win10系统kafka_2.12-3.1.0创建topic命令进入到kafka安装目录的\bin\windows下，执行命令kafka-topics.bat--create--bootstrap-serverlocalhost
随时看·2023-11-21 11:23

Java常用软件默认端口号

tomcat8080oracle1521zookeeper2181mysql3306rabbitMQ5672redis6379eureka8761nacos8848kafka9092es9200rocketMQ9876nginx80
Tripmonster·2023-11-21 09:52

Thingsboard 消息队列 kafka topic 设计

欢迎Star该github，长期更新IoT服务器设计的相关文章（后续该文章的优化修改只会该git）本文解释为什么Thingsboard微服务分布式下-设备控制的数据流-架构与可用性分析（有架构图）的图中，topic有"tb_rule_engine.main.3"，"tb_core.notification.tb-core-1"这两种的格式.3是指partition是3因为TB（Thingsboar
码届小王·2023-11-21 09:56

Zookeeper实现分布式队列

常见的消息队列有:RabbitMQ，RocketMQ，Kafka等。Zookeeper作为一个分布式的小文件管理系统，同样能实现简单的队列功能。
jockerwu·2023-11-21 05:15

Linux：快速安装Kafka

开始安装1、opt目录下新建kafka目录，本地下载kafka（下载地址），通过winscp传输到/opt/kafka目录下并解压kafka压缩包tar-zxvfkafka_2.11-2.4.0.tgz2
--流星。·2023-11-21 05:09

Kafka 使用java实现，快速入门

一、kafka的生产者和消费者1.生产者发送消息的流程2.消费者接收消息的流程二、java代码实现1.添加依赖：org.apache.kafkakafka_2.122.实现生产者publicclassNormalProducer
Java知者·2023-11-21 05:28

快速使用 Kafka

目录快速使用Kafka步骤1：安装Kafka步骤2：创建一个主题（Topic）步骤3：生产者发送消息步骤4：消费者接收消息使用Go语言kafka客户端库-Sarama进行生产者和消费者的基本示例使用Sarama
小小小熊猫5·2023-11-21 05:26

丰富你的日志信息：从Python调用堆栈获取行号等信息

程序中的日志打印，或者消息上传，比如kafka消息等等。经常上传的消息中需要上传堆栈信息中的文件名、行号、上层调用者等具体用于定位的消息。Python提供了以下两种方法：sys.
职场亮哥·2023-11-21 03:04

Flink SQL 性能优化实战

首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。但是发现某些作业的追数过程十分缓慢，要运行一晚上甚至三四天才能追上最新数据。
坨坨的大数据·2023-11-21 02:54

Kafka—topic的查询和创建

记录常用的kafka常用的topic相关命令查看topic列表[root@shtest01~]#/usr/lib/kafka/bin/.
Hughman·2023-11-21 00:55

kafka_consumer不消费数据的问题排查

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看
都教授2000·2023-11-20 23:32

记一次面试

面试官：使用Kafka，如何保证消息的顺序性？我：设置partition为1，同一个partition肯定是能保证顺序的，多个partition就保证不了了。
陈宏斌9527·2023-11-20 23:34

对象分配规则

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-11-20 22:33
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他