消息系统kafka

kafka-consumer-groups.sh

通过kafka-consumer-groups.sh脚本查看或变更消费组的信息。查看消费者组信息.
SunnyZ-L·2023-11-01 08:46

Pulsar 与 Kafka 全方位对比（上篇）：功能、性能、用例

本文为《Pulsarvs.Kafka—Part1—AMoreAccuratePerspectiveonPerformance,Architecture,andFeatures》中文译文版本。
StreamNative·2023-11-01 05:37

Kafka 源码编译

环境准备JDK1.7orhigher（建议使用JDK1.8）软件准备scala-2.11.12.zip下载地址：https://www.scala-lang.org/download/2.11.12.htmlgradle-4.8.1-bin.zip（写本文的时候gradle最新版是4.8.1）下载地址：https://gradle.org/releases/下载binary-only版即可：kaf
CoderJed·2023-11-01 05:06

互联网企业都在用的Kafka为什么可以这么快？

在数据的存储上有clickhouse、Hbase等大数据库来完成，在数据的分析上一般也是借助clickhouse或hbase的特性将数据分维度进行，而在数据的传输上，大家都不约而同使用了Kafka。
AI课工场·2023-11-01 02:44

大数据面试题_实时计算部分

1.zookeeper在kafka中起到什么作用Controller选举Controller是一个特殊的Broker,其负责维护所有Partition的leader/follower关系。
执于代码·2023-11-01 02:01

Jmeter 测试 MQ 接口怎么做？跟我学秒变大神！

MQ主要产品包括：RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ、KafkaMQTT是轻量的(Lightweight)、发布订阅模式(PubSub)的物联网消息协议至于现在企业中，特别是电商企业中
傲天测试王·2023-11-01 02:44

redis

内存型数据库支持数据的持久化,提供string,list，set，zset(sortedset)，hash等数据结构的存储,支持主从备份,3.x后分布式布署操作原子性,丰富的实用特性，如订阅-发布模式(可替换Kafka
一只程序猿TA·2023-11-01 00:20

001-RocketMQ入门-单机、集群、控制台搭建

入门为什么用Kafka缺点topic多了会影响性能所以就对kafka多topic性能做了提升运行单机修改环境变量在个人电脑上测试的时候注意需要修改：添加2个环境变量NAMESRV_ADDR：localhost
SunriseYin·2023-11-01 00:44

离线分析：Flume+Kafka+HBase+Hadoop通话数据统计

文章目录项目背景项目架构系统环境系统配置框架安装JDKHadoopZookeeperKafkaFlumeHBase项目实现项目结构表设计HBaseMysql功能编写公共服务生产日志服务数据存储服务协处理器服务数据分析服务
一半@java·2023-10-31 23:00

kafka的理论知识

kafka官网上介绍kafka是一个分布式流处理平台。那什么是流处理平台呢，流处理平台有以下三种特性:可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
yellowone·2023-10-31 22:33

docker+

使用docker部署Deepstream6.1+yolov5+Kafka_deepstreamdocker_羽化登仙°的博客-CSDN博客https://soulteary.com/2022/05/20
无名份的浪漫2018·2023-10-31 22:58

搭建ELK+KAFKA+ZK+FILEBEAT日志收集系统

需求：给线上微服务各节点搭建日志收集系统思路：filebeat收集本地系统日志，写入kafka，logstash从kafka中读取数据并传给elasticsearch，从而kibana进行展示初次搭建均为
tq_theSuperMan·2023-10-31 22:21

Ubuntu18.04+ELK架构（实现日志收集、过滤、可视化展现）

目录：1.实现filebeat-kafka/redis-logstash-elasticsearch-kibana集群架构2.完成收集nginx、tomcat、app日志收集3.要求完成Kibana日志可视化分析
ksfbvv·2023-10-31 22:47

log4j+flume+kafka实时日志处理

将项目中的日志使用log4j打印，然后使用avro方式，收集到flume，最后输出到kafka。
码道功成·2023-10-31 22:45

springboot第43集：知道你很强但你不懂kafka，79眉笔你照样买不起

在SpringBoot中，"bean"是一个非常重要的概念，它代表了一个由Spring容器管理的对象实例。这些对象通常用于组成应用程序的各个部分，并且可以在整个应用程序中共享和重用。SpringBoot的Bean管理是基于Spring框架的IoC（控制反转）和DI（依赖注入）原理构建的。以下是SpringBoot中Bean的一些关键特性和用途：组件管理:Bean管理允许您创建、配置和管理应用程序中
掘金-我是哪吒·2023-10-31 22:39

springboot第42集：李佳琦说工作这么久了，还不懂Kafka吗?

不能缩小生产者多线程安全，消费者一个线程一个消费者BigDecimal是Java中的一个精确数字类，用于表示高精度的浮点数或整数，通常用于处理需要避免舍入误差的数值计算。它提供了高精度的算术运算，可用于处理非常大或非常小的数值，以及需要精确度的金融计算或科学计算。下面是一些关于BigDecimal的要点：高精度：BigDecimal可以表示非常大或非常小的数值，而且不会丢失精度。这使它非常适合于金
掘金-我是哪吒·2023-10-31 22:09

springboot第44集：Kafka集群和Lua脚本

servers：Kafka服务器的地址。这是Kafka集群的地址，生产者将使用它来发送消息。retries：在消息发送失败时，生产者将尝试重新发送消息的次数。这个属性指定了重试次数。
掘金-我是哪吒·2023-10-31 22:08

专访 PMC，开源项目 Apache Pulsar 如何挑战 Kafka？

在本采访中，主要介绍了ApachePulsar作为云原生流数据工具在消息处理领域的优势特性、与Kafka的一些对比概要以及StreamNative公司的介绍和发展方向。原作者为开源中国一君。
StreamNative·2023-10-31 21:52

Debezium落地总结

背景前端时间介绍过debezium的架构，其是基于KafkaConnect实现的。官方也推荐运行在KafkaConnect集群中，这样能最大程度的保证高可用。
淡淡的小番茄·2023-10-31 21:47

Zookeeper集群与Kafka集群

zookeeper定义二、zookeeper工作机制三、zookeeper特点四、Zookeeper数据结构五、Zookeeper应用场景六、Zookeeper选举机制七、Zookeeper集群部署八、Kafka
Besteady·2023-10-31 20:54

进击的 Flink：网易云音乐实时数仓建设实践

背景介绍网易云音乐从2018年开始搭建实时计算平台，到目前为止已经发展至如下规模：机器数量：130+单Kafka峰值QPS：400W+在线运行任务数：500+开发者：160+业务覆盖：在线业务支持，实时报表统计
Apache Flink·2023-10-31 20:03

kafka集群搭建及配置参数

kafka官网及下载地址1)Kafka官网：http://kafka.apache.org/2)下载地址：http://kafka.apache.org/downloads3)客户端库：https://
WALLE_c4b6·2023-10-31 18:04

04，springcloud_stream整合rocketmq

如常见的RabbitMQ和Kafka，由于这两个消息中间件的架构上的不同，像RabbitMQ有exchange，kafka有Topic，partitions分区，
李乃龙1·2023-10-31 17:59

SpringCloud-Stream消息驱动

4、业务类5、Controller三、扩展1、消息重复消费2、消息持久化前言今天大致学完了Stream一、概览1、起因现在有许多常用的MQ（消息中间件）ActiveMQRabbitMQRocketMQKafka
sakanal·2023-10-31 17:28

SpringCloud-消息驱动

消息驱动SpringCloudStream概述常见MQ(消息中间件)：ActiveMQRabbitMQRocketMQKafka有没有一种新的技术诞生，让我们不再关注具体MQ的细节，我们只需要用一种适配绑定的方式
成 大事·2023-10-31 17:27

面试官：聊聊kafka线上使用会有哪些问题？

哪些环节会造成消息丢失？首先说说哪些环节会丢消息消息生产者：（1）acks=0：表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。（2）acks=1：至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续
子龙技术·2023-10-31 17:48

微服务、事件驱动架构和 Kafka

想象一下，有一个巨大的整体应用程序，其中许多复杂的功能紧密地联系在一起。可扩展性是一个很大的挑战，部署过程可能会变得非常繁琐，而且由于内部组件高度耦合，改变功能流程也不是那么容易。也许很多人都熟悉这个概念，因为直到几年前这是构建应用程序的标准方法，而且现在生产中仍然有很多单体应用。但与此同时，尤其是在云服务“爆炸”之后，构建产品的过程转向了微服务方法。具有明确范围的小型微服务，可以与其他服务进行通
沃趣数据库管理平台·2023-10-31 16:06

kafka为什么如此之快？

同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w
myprince003·2023-10-31 13:44

Java修仙传之Kafka篇

大道三千，最近修Kafka架构图及基本概念每台服务器,可以拥有一个或多个broker每个broker可以拥有一个或多个主题每个主题可以拥有多个分区（每个分区有序存储一部分数据，即：每个分区数据不同）每个分区拥有一个或多个副本一个
一键三联啊·2023-10-31 13:47

（面经总结）一篇文章带你整理面试过程中关于消息队列（RabbitMQ/RocketMQ/Kafka）的相关知识点

Kafka：不支持事务，对于消息重复、丢失、错误没有严格要，适用大量数据的互联网服务RabbitMQ：对数据的一致性、稳定性、可靠性要求很高的场景，对性能和吞吐量要求其次RocketMQ：具有高吞吐量，
南淮北安·2023-10-31 13:08

（四）大数据集群运维

大数据集群运维ES常见运维命令windows和linux常用命令文章目录大数据集群运维1：集群扩容均衡1.1：hdfs均衡1.2：kafka均衡1.3：es均衡2：hadoop集群服务角色汇总2.1：hdfs2.2
猿来如此dj·2023-10-31 12:39

安装Kafka Broker 报错replication factor: 1 larger than available brokers: 0

确保Java和Zookeeper安装配置完成之后，安装Kafka官网下载http://kafka.apache.org/downloads.html#tar-zxfkafka_2.12-0.11.0.3
初学者_8f7b·2023-10-31 11:23

kafka生产者和消费者的分区分配策略

引言我们都知道在kafka中producer向topic推送消息，而consumer是主动去拉取消息。
billows9297·2023-10-31 08:29

3.kafka3.x Broker相关原理

broker在zookeeper中存储的信息/kafka/brokers/ids记录了所有存活的broker服务器id/kafka/brokers/topics/topic_name/partition
夹毛局的程序员·2023-10-31 08:29

Kafka消费者组整合代码实现分区分配策略以及offset使用场景

ConsumerGroup（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。•消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。•消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。消费者组初始化流程1、coordinator：辅助实现消费者组的初始化和分区的分配coordinat
远走与梦游·2023-10-31 08:59

Kafka：设置消费者组分区分配策略

importorg.apache.kafka.clients.consumer.ConsumerConfig;importorg.apache.kafka.clients.consumer.ConsumerRecord
程序员无羡·2023-10-31 08:28

Kafka分区分配策略以及重平衡过程总结

Kafka自身提供了三种分区分配策略，通过消费者端配置参数partition.assignment.strategy来控制。
Ccccccc牛逼·2023-10-31 08:58

Kafka入门，分区的分配再平衡（二十）

分区的分配以及再平衡1、kafka有四种主流的分区策略：Range,RoundRobin,Sticky,CooperativeSticky。
Long long ago.·2023-10-31 08:57

Kafka3.x最全面的总结

一、概述（一）、kafka的定义1、定义1）kafka传统的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域2）kafka最新的定义：kafka是一个开源的分布式事件流平台
wu-yy·2023-10-31 08:27

Kafka3.x笔记

1.本地环境搭建--条件有限,暂时单服务器模拟集群情况cd/etc/profile.d/my_env.shzookeeper集群启动kafka集群启动编写kafka.sh集群操作脚本(先关闭kafka,
懒虫111·2023-10-31 08:55

Kafka分配策略和再平衡策略

Kafka自身提供了三种分区分配策略，通过消费者端配置参数partition.assignment.strategy来控制。
满龙林·2023-10-31 08:53

kafka--基础知识点--9--消费者分区分配策略

1RangeAssignorRangeAssignor策略的原理是按照消费者总数和分区总数进行整除运算来获得一个跨度，然后将分区按照跨度进行平均分配，以保证分区尽可能均匀地分配给所有的消费者。对于每一个Topic，RangeAssignor策略会将消费组内所有订阅这个Topic的消费者按照名称的字典序排序，然后为每个消费者划分固定的分区范围，如果不够平均分配，那么字典序靠前的消费者会被多分配一个分
Chasing__Dreams·2023-10-31 08:18

Kafka消费者之相关参数及分区分配再平衡

参数名称描述bootstrap.servers向Kafka集群建立初始连接用到的host/port列表。
--只因--·2023-10-31 08:18

Kafka - 3.x 分区分配策略及再平衡不完全指北

文章目录生产经验——分区分配策略及再平衡生产者分区分配之Range及再平衡Range分区策略原理Range分区分配策略及再平衡案例生产者分区分配之RoundRobin策略及再平衡RoundRobin分区策略原理RoundRobin分区分配策略及再平衡案例生产者分区分配之Sticky及再平衡Sticky分区策略原理Sticky分区分配策略及再平衡案例生产经验——分区分配策略及再平衡在ApacheKa
小小工匠·2023-10-31 08:17

Java或Scala，如何将\x22这样的字符转换为字符串？

介绍最近涉及Nginx输出的埋点日志，实时接入Kafka，我需要实时解析Kafka中埋点日志，但是在解析过程中，出现\x22这样的字符，使我不能将字符串解析成JSON对象，本着解决问题的想法进行了研究,
数据小白鼠·2023-10-31 07:33

210.Flink（五）：Flink的sql-client，流处理中的表，表的crud，kafka、file、mysql的connect读写，savepoint，catalog，代码中实现

目录一、sql-client准备1.基于yarn-session模式2.常用配置二、流处理中的表1.动态表（DynamicTables）2.持续查询（ContinuousQuery）3.将流转换成动态表4.用SQL持续查询（1）更新（Update）查询（2）追加（Append）查询5.将动态表转换为流（1）仅追加（Append-only）流（2）撤回（Retract）流（3）更新插入（Upsert
鹏哥哥啊Aaaa·2023-10-31 07:22

Java架构视频教程，让你从入门到精通！

那么今天，我为大家带来了Java视频教程，包括：Kafka、Mysql、Tomcat、Docker、Spring、MyBatis、Nginx、Netty、Dubbo、Redis、Netty、Springcloud
Java黎先生·2023-10-31 00:55

Jmeter 测试 MQ 接口怎么做？跟我学秒变大神！

MQ主要产品包括：RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ、KafkaMQTT是轻量的(Lightweight)、发布订阅模式(PubSub)的物联网消息协议前言注意：如果已经有
测试界的彭于晏·2023-10-30 23:24

mysql导入sql，稳进大厂

、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka
Java小麦·2023-10-30 23:16

mq如何保证消息顺序性

kafkakafka的topic是分Partition的，当有多个Partition的时候，消息可能会按照/或者不按照规则被发送到不同的Partition。Kafka中的消费是
盖丽男·2023-10-30 20:46
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他