消息中间件--Kafka 第50页

我该如何学习新知识

例如想要学习中间件kafka的知识，首先先要用起来kafka，不能纸上谈兵，死背原理很容易遗忘，在实践中感受kaf

Trytrying·2023-12-05 22:33

阻塞队列2021-09-29

ArrayBlockingQueue阻塞队列为空时：取元素的线程会被阻塞阻塞队列满时：添加元素的线程会被阻塞消息中间件的底层原理之一就是阻塞队列为什么需要BlockQueue？

发呆的熊猫·2023-12-05 21:18

Flink入门之DataStream API及kafka消费者

DataStreamAPI主要流程：获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron

十七✧ᐦ̤·2023-12-05 21:00

Maxwell学习笔记

实时读取MySQL二进制日志Binlog，并生成JSON格式的消息，作为生产者发送给Kafka，Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其它平台的应用程序

FF_y·2023-12-05 20:20

开发猿的平平淡淡周末---2023/11/25

目录周总结：2023.11.25天气晴，温度适宜AMPM周总结：项目中引入了kafka消息服务，完成了报表模块的初步迁移编写了系统中的自定义CF函数，得亏同事发现新函数与旧的有冲突，改了需求系统的翻译项工作台真滴坑啊

键盘不能没有CV键·2023-12-05 19:02

ubuntu启动kafka报错Could not create the Java Virtual Machine.

网上有两种方式，但是需要具体看自己的错误信息，我的错误信息如下:这里大概是说要写入日志无权限，所以执行的时候，前面加一下sudo执行成功。

道甚夷·2023-12-05 18:09

ubuntu安装kafka

一、前提，先去安装java环境二、安装kafkawgethttp://www.apache.org/dyn/closer.cgi?

道甚夷·2023-12-05 18:09

kafka在zk中的存储结构

大数据技术进阶·2023-12-05 16:31

03-02-02 kafka

入门篇使用场景MQ基本功能生产者发送消息，消费者接收消息。（本质上是一个消息的传递）存储海量消息写多读少，应对高并发写根据这些功能，可以实现的使用场景解耦：生产消息，其他服务根据需要进行消费，生产者无需关心消费者异步：生产消息，无需关心消费者具体的处理时间削峰填谷：设置消费者1s消费N条消息引入MQ带来的问题系统可用性降低，MQ高可用问题系统复杂度提高数据一致性问题：数据丢失、数据重复、数据乱序基

nan得糊涂·2023-12-05 15:39

阿里神器 Arthas 的骚操作，定位线上BUG，超给力！

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ

Java基基·2023-12-05 13:26

即时通讯源码

环境nginx+mysql5.7+php7.3+redis+jdk1.8+etcd、kafka、minio、ssdb数据库imweb、enterprise、datab

小九网创·2023-12-05 11:36

深入浅出理解kafka ---- 万字总结

1.Kafka简介Kafka本质上是一个MQ（MessageQueue），使用消息队列的优点：解耦：允许独立的扩展或修改队列两边的处理过程。

乖的小肥羊·2023-12-05 11:51

MQ - KAFKA 高级篇

kafak是一个分布式流处理平台,提供消息持久化,基于发布-订阅的方式的消息中间件，同时通过消费端配置相同的groupId支持点对点通信。

ApacheCrazyFan·2023-12-05 11:50

kafka 3.x 学习笔记

kafka3.x学习笔记在kafka2.8.0版本之前，安装使用kafka需要配套安装zookeeper，但在2.8.0版本之后，不再需要安装zookeeper，本次学习笔记采用的kafka版本为3.0.0

啃瓜子的松鼠·2023-12-05 11:19

Kafka Producer

今天我们来讲一下Kafka4元素中的Producer，第一个概念就是同步和异步1.syncvsasync在官方文档ProducerConfigs中有如下：producer.type的默认值是sync，即同步的方式

西部小笼包·2023-12-05 10:39

解决websocket集群的session共享问题

在websocket中，其实是无法做到session共享的，目前通用的解决方案都是通过消息中间件，实现消息的发布与订

Best_Liu~·2023-12-05 08:33

【bug排查解决】现象级延迟8-10s

首先一个数据采集场景，plc采集数据全链路：kepServer（kepserverIOTgateway）->emqx（查看日志）->iot服务->业务处理发送Kafka->flink消费->websocket

不进大厂不改名二号·2023-12-05 06:08

二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺

一、目的在用Flume把Kafka的数据采集写入Hive的ODS层表的HDFS文件路径后，发现HDFS文件中没问题，但是ODS层表中字段的数据却有问题，字段中的JSON数据不全二、Hive处理JSON数据方式

天地风雷水火山泽·2023-12-05 06:19

RabbitMQ避免重复消费

在Java中，可以使用消息队列来实现消息的异步处理，其中常用的消息队列有RabbitMQ、ActiveMQ、Kafka等。什么是幂等性？

肥牛熟了熟了·2023-12-05 06:18

Java——》JSONObjet 数据顺序

小仙。·2023-12-05 04:00

了解ThreadLocal的原理吗

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式

飞乐鸟·2023-12-05 04:53

Python (十八) 正则表达式

最近整理了一份大厂面试资料《史上最全大厂面试题》，Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等获取方式

飞乐鸟·2023-12-05 04:51

Flume+Kafka双剑合璧玩转大数据平台日志采集

大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来实现。数据

浪尖聊大数据-浪尖·2023-12-05 02:12

Redis中缓存穿透、击穿、雪崩以及解决方案

介绍二、Redis缓存穿透三、Redis缓存击穿四、Redis缓存雪崩一、Redis介绍Redis（RemoteDictionaryServer）是一个开源的内存数据结构存储系统，它可以用作数据库、缓存和消息中间件

揣晓丹·2023-12-05 01:35

【docker系列】docker实战之部署SpringBoot项目

檀越剑指大厂·2023-12-05 01:33

win10安装RocketMQ踩坑教程

RocketMQ是由阿里捐赠给Apache的一款分布式、队列模型的开源消息中间件，经历了淘宝双十一的洗礼二.进入正题，开始整活：2.1预备环境系统win10环

小小小小小小小阳·2023-12-05 00:09

【消息中间件JMS java message service】RocketMQ踩坑记录

Exceptioninthread“main”org.apache.rocketmq.client.exception.MQClientException巨坑问题。特别坑的注意点就是：你用的rocketMQ版本，一定要和你引用的pom文件同一个版本除了看官网的FAQ:Thishappenswhenyouaretryingtosendmessagestoatopicwhoseroutinginfoi

一只狮·2023-12-05 00:08

大数据开发：Kafka消息存储到Broker的流程

Kafka作为分布式消息系统，在大数据平台架构层面，承担着消息流转和存储支持的重要任务。消息经kafka引入到大数据系统平台，存储是一道重要的关卡。

成都加米谷大数据·2023-12-04 23:34

2022我凭借这份文档成功拿到了阿里，京东等四家大厂offer

今天给大家分享我拿到大厂offer的利器，大厂核心知识面试宝典，内容点包含有java集合，jvm，并发编程，spring，mybatis，springMVC，微服务，Dubbo，netty，网络，zookeeper，kafka

优雅程序员阿鑫·2023-12-04 21:58

消息队列之RabbitMQ之主题（Topics）模式

前言：RabbitMQ是一个消息中间件:它接受并转发消息。相当于一个快递站，只存放消息。快递员分配东西到快递站，相当于生产者生产消息到MQ中，买家从快递站拿快递，相当于消费者从MQ中取出消息。

小黑熊ovo·2023-12-04 21:28

大数据的技术栈-逐步完善

2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb.集群架构4.数仓模型知识5.开发工具a.Dbeaverb.Idea6.kafka7

刘文钊1·2023-12-04 20:12

flink sink多个topic

_importorg.apache.flink.streaming.connectors.kafka.

Thomas2143·2023-12-04 19:56

【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息

问题描述使用ApacheFlink连接支持ApacheKafka的AzureEventHub后，由于消费端的ConsumerGroup是动态创建，在门户页面和ServiceBusExplorer工具中均无法查看

云中路灯·2023-12-04 18:22

和同事交流不会kafka怎么行，API奉上，不是大神也能编

对于kafka真的是又爱又恨，作为架构和大数据两个方面的通用者，在这个数据量称雄的时代，越来越起到至关重要的作用，在和同事进行交流的时候，kafka在开发的过程中如何使用能起到最大的效果成为话题之一，那没有用过

java架构师联盟·2023-12-04 18:31

zookeeper集群+kafka集群:

kafka3.0之前依赖于zookeeper。zookeeper开源，分布式的架构。提供协调服务（Apache项目）基于观察者模式涉及的分布式服务管理架构。存储和管理数据。

Lad1129·2023-12-04 17:28

分布式运用之Filebeat+Kafka+ELK 的服务部署

1.Kafka架构深入了解1.1Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。

Lad1129·2023-12-04 17:23

Flink 自定义Avro序列化(Source/Sink)到kafka中

前言环境所依赖的pom文件 org.apache.avro avro 1.8.2 org.apache.flink flink-scala_2.12 1.10.1

大数据老哥·2023-12-04 16:47

Redis5新特性-stream

Stream队列Redis5.0最大的新特性就是多出了一个数据结构Stream，它是一个新的强大的支持多播的可持久化的消息队列，作者声明RedisStream地借鉴了Kafka的设计。

kk_0910·2023-12-04 14:56

Redis队列详解（springboot实战）

前言MQ应用有很多，比如ActiveMQ,RabbitMQ,Kafka等，但是也可以基于redis来实现，可以降低系统的维护成本和实现复杂度，本篇介绍redis中实现消息队列的几种方案，并通过springboot

book多得·2023-12-04 14:11

一款Kafka可视化Web界面管理工具：CMAK

使用过KafKa集群的人都知道，要记住KafKa的命令对于新手确实比较难，所以一般都会寻找能在页面操作的管理工具。

testerzhang·2023-12-04 14:35

kafka3.6.0部署

部署zkhttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1.tar.gztar-xfapache-zookeeper-3.9.1.tar.gz-C/appscd/apps/&&ln-sapache-zookeeper-3.9.1zookeeper修改配置```bas

inner222·2023-12-04 13:04

kafka反序列化错误处理

当消费者发生反序列化失败时会导致消费者偏移量不会向后移动，而且海量的错误日志会将磁盘写满，因此需要针对此类错误进行手动处理ConcurrentKafkaListenerContainerFactoryfactory

SongJingzhou·2023-12-04 12:07

kafka的详细安装部署

introduceKafka是一个分布式流处理平台，主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发，现在由ApacheSoftwareFoundation维护和开发。

我的麦子熟了。·2023-12-04 12:34

搭建大型分布式服务（三十六）SpringBoot 零代码方式整合多个kafka数据源

系列文章目录文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、测试一下五、小结前言让我们来看一下网上是怎样使用SpringBoot整合kafka数据源的，都存在哪些痛点？

hanyi_·2023-12-04 11:14

SpringBoot批量获取Kafka消息（一）

导读：通过本文可以学习到SpringBoot整合Kafka、逐条消费Kafka消息、批量收取Kafka消息以及SpringBoot整合EmbeddedKafka进行无需启动外部kafka-server的单元测试

hanyi_·2023-12-04 11:12

SpringBoot批量获取Kafka消息（二）