Kafka权威指南

Kafka consumer的offset的提交方式

Kafkaconsumer的offset提交机制有以下两种手动提交同步提交consumer.commitSync()方式提交异步提交consumer.commitAsync(callback)方式提交自动提交
zy_think123·2023-12-06 12:19

Kafka -基础篇

Kafka初识Kafka是什么Kafka是最初由LinkedIn公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。
~AC~·2023-12-06 11:49

深入理解Spring Kafka中@KafkaListener注解的参数与使用方式

ApacheKafka作为一个强大的消息代理系统，与Spring框架的集成使得在分布式应用中处理消息变得更加简单和灵活。
lizz666·2023-12-06 11:19

windows下安装配置kafka

一、安装zookeeper在使用Kafka之前，通常需要先安装和配置ZooKeeper。ZooKeeper是Kafka的依赖项之一，它用于协调和管理Kafka集群的状态。
熊出没·2023-12-06 11:39

大数据开发：Kafka 异步发送消息可靠性策略

Kafka作为分布式消息队列，对于消息传送有实时传送和异步发送的区别，而异步发送消息，就会涉及到一个很关键的问题，如何保证消息发送的准确性和可靠性。
成都加米谷大数据·2023-12-06 09:59

Docker安装中间件

Docker安装中间件文章目录Docker安装中间件一、准备工作二、安装Mysql-5.6三、安装postgres四、安装Redis五、安装Zookeeper六、安装kafka一、准备工作安装Docker
冬小弟·2023-12-06 08:08

Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink

目录1.准备工作生成数据创建数据表2.创建数据表创建数据源表创建数据目标表3.计算WITH子句1.准备工作生成数据sourcekafkajson数据格式：topiccase_kafka_mysql：{"
victory0508·2023-12-06 07:55

kafka配置外网访问

为了本地调试方便需要把测试服务器的kafka开放外网连接,本以为很简单的事情卡了好几个小时,主要还是对kafka不了解导致的,特此记录.核心就是两个配置:listeners和advertised.listeners
三川三一宁·2023-12-06 07:46

消息中间件之间的区别

一.单机吞吐量ActiveMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级RabbitMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级RocketMQ：10万级，RocketMQ
xmh-sxh-1314·2023-12-06 07:25

CentOS服务自启权威指南：手动启动变为开机自启动（以Jenkins服务为例）

前言CentOS系统提供了多种配置服务开机自启动的方式。本文将介绍其中两种常见的方式，一种是使用Systemd服务管理器配置，不过，在实际中，如果你已经通过包管理工具安装的，那么服务通常已经被配置为Systemd服务，只需要命令sudosystemctlenableyourService设置开机自启动即可。但是如果你是压缩包解压的方式安装服务，可以参考如下步骤。另一种是通过修改/etc/rc.d/
热心码民阿振·2023-12-06 06:40

Springboot：kafka运行成功，报错InvalidTopicException

官方说法：Theclienthasattemptedtoperformanoperationonaninvalidtopic.Forexamplethetopicnameistoolong,containsinvalidcharactersetc.Thisexceptionisnotretriablebecausetheoperationwon'tsuddenlybecomevalid.主题名称太
椰壳子·2023-12-06 06:35

使用 Apache Kafka 进行实时流处理

ApacheKafka是一个开源分布式流处理平台，最初由LinkedIn开发，后来于2011年捐赠给Apache。我们可以将Kafka描述为一个文件集合，其中充满了分布在多台机器上的消息。
wouderw·2023-12-06 05:37

kafka入门(三)：kafka多线程消费

kafka消费积压如果生产者发送消息的速度过快，或者是消费者处理消息的速度太慢，那么就会有越来越多的消息无法及时消费，也就是消费积压。消费积压时，可以使用多线程消费，提高消费速度。
乐之者v·2023-12-06 05:15

学习kafka

一个存放消息的组件生产者，消费者，broker三部分消息队列的两种模式*生产者和消费者（消费者主动拉取信息，然后删除）*发布订阅（）kafka基础架构*一个topic有多个partition（副本（信息非全量
程序猿小蝌蚪 黄小帅·2023-12-06 05:42

Python (一) 操作Mysql

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-12-06 04:50

Spark Streaming（三）集成Kafka

Kafka从0.8版本到0.10版本提供了一种新的消费者api，所以根据你的kafka版本不同相应的有2种包可用，分别是spark-streaming-kafka-0-8和spark-streaming-kafka
Sx_Ren·2023-12-06 03:33

面试就是这么简单，offer拿到手软（四）—— 常见java152道基础面试题

常见非技术问题回答思路面试就是这么简单，offer拿到手软（二）——常见65道非技术面试问题面试就是这么简单，offer拿到手软（三）——常见中间件框架面试题，es，redis，dubbo，zookeeperkafka
T-OPEN·2023-12-06 02:17

面试就是这么简单，offer拿到手软（三）—— 常见中间件框架面试题，es，redis，dubbo，zookeeper kafka 等

常见非技术问题回答思路面试就是这么简单，offer拿到手软（二）——常见65道非技术面试问题面试就是这么简单，offer拿到手软（三）——常见中间件框架面试题，es，redis，dubbo，zookeeperkafka
T-OPEN·2023-12-06 02:45

Kafka 如何保证消息消费的全局顺序性

哈喽大家好，我是咸鱼今天我们继续来讲一讲Kafka当有消息被生产出来的时候，如果没有指定分区或者指定key，那么消费会按照【轮询】的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配我们知道，在
咸鱼Linux运维·2023-12-06 02:42

Kafka中的auto-offset-reset配置

Kafka这个服务在启动时会依赖于Zookeeper，Kafka相关的部分数据也会存储在Zookeeper中。
y_bccl27·2023-12-05 22:19

我该如何学习新知识

例如想要学习中间件kafka的知识，首先先要用起来kafka，不能纸上谈兵，死背原理很容易遗忘，在实践中感受kaf
Trytrying·2023-12-05 22:33

Flink入门之DataStream API及kafka消费者

DataStreamAPI主要流程：获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron
十七✧ᐦ̤·2023-12-05 21:00

Maxwell学习笔记

实时读取MySQL二进制日志Binlog，并生成JSON格式的消息，作为生产者发送给Kafka，Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其它平台的应用程序
FF_y·2023-12-05 20:20

开发猿的平平淡淡周末---2023/11/25

目录周总结：2023.11.25天气晴，温度适宜AMPM周总结：项目中引入了kafka消息服务，完成了报表模块的初步迁移编写了系统中的自定义CF函数，得亏同事发现新函数与旧的有冲突，改了需求系统的翻译项工作台真滴坑啊
键盘不能没有CV键·2023-12-05 19:02

ubuntu启动kafka报错Could not create the Java Virtual Machine.

网上有两种方式，但是需要具体看自己的错误信息，我的错误信息如下:这里大概是说要写入日志无权限，所以执行的时候，前面加一下sudo执行成功。
道甚夷·2023-12-05 18:09

ubuntu安装kafka

一、前提，先去安装java环境二、安装kafkawgethttp://www.apache.org/dyn/closer.cgi?
道甚夷·2023-12-05 18:09

kafka在zk中的存储结构

涉及到的相关项目为kafka0.8.1.1zookeeper3.3.6环境下面的存储的结构图片中描述了kafka在zk中的存储结构，以及存储的相关数据，绿色代表的是zk的临时节点，当对应的进程退出后，此临时的
大数据技术进阶·2023-12-05 16:31

03-02-02 kafka

入门篇使用场景MQ基本功能生产者发送消息，消费者接收消息。（本质上是一个消息的传递）存储海量消息写多读少，应对高并发写根据这些功能，可以实现的使用场景解耦：生产消息，其他服务根据需要进行消费，生产者无需关心消费者异步：生产消息，无需关心消费者具体的处理时间削峰填谷：设置消费者1s消费N条消息引入MQ带来的问题系统可用性降低，MQ高可用问题系统复杂度提高数据一致性问题：数据丢失、数据重复、数据乱序基
nan得糊涂·2023-12-05 15:39

即时通讯源码

环境nginx+mysql5.7+php7.3+redis+jdk1.8+etcd、kafka、minio、ssdb数据库imweb、enterprise、datab
小九网创·2023-12-05 11:36

深入浅出理解kafka ---- 万字总结

1.Kafka简介Kafka本质上是一个MQ（MessageQueue），使用消息队列的优点：解耦：允许独立的扩展或修改队列两边的处理过程。
乖的小肥羊·2023-12-05 11:51

MQ - KAFKA 高级篇

kafak是一个分布式流处理平台,提供消息持久化,基于发布-订阅的方式的消息中间件，同时通过消费端配置相同的groupId支持点对点通信。##适用场景：构造实时流数据管道,用于系统或应用之间可靠的消息传输.数据采集及处理,例如连接到一个数据库系统,捕捉表的变更内容.构建实时流式应用程序，对这些流数据进行转换或者影响,如:应用程序作为一个流处理器，消费一个或者多个topic产生的输入流，然后生产一个
ApacheCrazyFan·2023-12-05 11:50

kafka 3.x 学习笔记

kafka3.x学习笔记在kafka2.8.0版本之前，安装使用kafka需要配套安装zookeeper，但在2.8.0版本之后，不再需要安装zookeeper，本次学习笔记采用的kafka版本为3.0.0
啃瓜子的松鼠·2023-12-05 11:19

Kafka Producer

今天我们来讲一下Kafka4元素中的Producer，第一个概念就是同步和异步1.syncvsasync在官方文档ProducerConfigs中有如下：producer.type的默认值是sync，即同步的方式
西部小笼包·2023-12-05 10:39

Kubernetes权威指南：从Docker到Kubernetes实践全接触（第5版）读书笔记 目录

：未完结文章目录前言第1章Kubernetes入门11.1了解Kubernetes2附录AKubernetes核心服务配置详解915总结前言提示：这里可以添加本文要记录的大概内容：Kubernetes权威指南
李海成·2023-12-05 08:15

【bug排查解决】现象级延迟8-10s

首先一个数据采集场景，plc采集数据全链路：kepServer（kepserverIOTgateway）->emqx（查看日志）->iot服务->业务处理发送Kafka->flink消费->websocket
不进大厂不改名二号·2023-12-05 06:08

二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺

一、目的在用Flume把Kafka的数据采集写入Hive的ODS层表的HDFS文件路径后，发现HDFS文件中没问题，但是ODS层表中字段的数据却有问题，字段中的JSON数据不全二、Hive处理JSON数据方式
天地风雷水火山泽·2023-12-05 06:19

RabbitMQ避免重复消费

在Java中，可以使用消息队列来实现消息的异步处理，其中常用的消息队列有RabbitMQ、ActiveMQ、Kafka等。什么是幂等性？
肥牛熟了熟了·2023-12-05 06:18

Java——》JSONObjet 数据顺序

推荐链接：总结——》【Java】总结——》【Mysql】总结——》【Redis】总结——》【Kafka】总结——》【Spring】总结——》【SpringBoot】总结——》【MyBatis、MyBatis-Plus
小仙。·2023-12-05 04:00

了解ThreadLocal的原理吗

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-12-05 04:53

Python (十八) 正则表达式

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式
飞乐鸟·2023-12-05 04:51

Flume+Kafka双剑合璧玩转大数据平台日志采集

大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来实现。数据
浪尖聊大数据-浪尖·2023-12-05 02:12

【docker系列】docker实战之部署SpringBoot项目

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-05 01:33

大数据开发：Kafka消息存储到Broker的流程

Kafka作为分布式消息系统，在大数据平台架构层面，承担着消息流转和存储支持的重要任务。消息经kafka引入到大数据系统平台，存储是一道重要的关卡。
成都加米谷大数据·2023-12-04 23:34

2022我凭借这份文档成功拿到了阿里，京东等四家大厂offer

今天给大家分享我拿到大厂offer的利器，大厂核心知识面试宝典，内容点包含有java集合，jvm，并发编程，spring，mybatis，springMVC，微服务，Dubbo，netty，网络，zookeeper，kafka
优雅程序员阿鑫·2023-12-04 21:58

大数据的技术栈-逐步完善

2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb.集群架构4.数仓模型知识5.开发工具a.Dbeaverb.Idea6.kafka7
刘文钊1·2023-12-04 20:12

flink sink多个topic

_importorg.apache.flink.streaming.connectors.kafka.
Thomas2143·2023-12-04 19:56

【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息

问题描述使用ApacheFlink连接支持ApacheKafka的AzureEventHub后，由于消费端的ConsumerGroup是动态创建，在门户页面和ServiceBusExplorer工具中均无法查看
云中路灯·2023-12-04 18:22

和同事交流不会kafka怎么行，API奉上，不是大神也能编

对于kafka真的是又爱又恨，作为架构和大数据两个方面的通用者，在这个数据量称雄的时代，越来越起到至关重要的作用，在和同事进行交流的时候，kafka在开发的过程中如何使用能起到最大的效果成为话题之一，那没有用过
java架构师联盟·2023-12-04 18:31

zookeeper集群+kafka集群:

kafka3.0之前依赖于zookeeper。zookeeper开源，分布式的架构。提供协调服务（Apache项目）基于观察者模式涉及的分布式服务管理架构。存储和管理数据。
Lad1129·2023-12-04 17:28

分布式运用之Filebeat+Kafka+ELK 的服务部署

1.Kafka架构深入了解1.1Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。
Lad1129·2023-12-04 17:23
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他