Kafka专题学习

kafka-console-cosumer监听消息并打印时间

/kafka-console-consumer.sh--bootstrap-server192.168.100.236:9192192.168.100.236:9292192.168.100.236:9392
芸尚非·2024-01-03 13:15

大数据实时项目必备技能二：kafka有话说

导读：Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。
栀子花_ef39·2024-01-03 11:05

数睿通2.0：高效的数据处理，主数据与数据表功能全面升级

引言八天很短，七天很长，数睿通2.0数据中台也随之迎来了新一轮的版本迭代，本次更新主要包括：主数据模型（可视化建模）主数据派发（支持派发主数据到下游数据表，rabbitMq，kafka，接口）数据表（数仓分层表信息展示
小螺旋丸·2024-01-03 10:51

Spark导入报错：object security is not a member of package org.apache.kafka.common

引言 buildspark里自带的示例项目时报了这样一个错：objectkafkaisnotamemberofpackageorg.apache，排查后发现是因为添加的jar依赖里没有kafka这一项，
夜半罟霖·2024-01-03 09:40

Kafka安全认证机制详解之SASL_PLAIN

一、概述官方文档：https://kafka.apache.org/documentation/#security在官方文档中，kafka有五种加密认证方式，分别如下：SSL：用于测试环境SASL/GSSAPI
4935同学·2024-01-03 08:10

springboot整合~swagger~kafka~nginx~redis~mysql(在linux服务器环境下部署运行测试)

~适合小白入门，springboot简单整合微服务技术，部署在linux环境下进行测试~~注意：运行环境为linux服务器，提前给linux服务器环境中安装jdk、kafka、zookeeper、nginx
茶苦甜心·2024-01-03 08:06

使用Spring Request-Reply实现基于Kafka的同步请求响应

大家提到Kafka时第一印象就是它是一个快速的异步消息处理系统，不同于通常tomcat之类应用服务器和前端之间的请求/响应方式请求，客户端发出一个请求，必然会等到一个响应，这种方式对Kafka来说并不自然
Java大生·2024-01-03 07:43

kafka处理大量消息积压tips —— 筑梦之路

一、consumer导致kafka积压了大量消息场景：1.如果是Kafka消费能力不足，则可以考虑增加topic的partition的个数，同时提升消费者组的消费者数量，消费数=分区数（二者缺一不可）2
筑梦之路·2024-01-03 06:27

Linux Page Cache调优在Kafka中的应用

mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg作者：YangYijun本文主要描述LinuxPageCache优化的背景、PageCache的基本概念、列举之前针对Kafka
vivo互联网技术·2024-01-02 22:05

88、Spark Streaming之输入DStream之Kafka数据源实战（基于Direct的方式）

替代掉使用Receiver来接收数据后，这种方式会周期性地查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的offset的范围。
ZFH__ZJ·2024-01-02 13:25

Kafka高性能架构设计

1、概述Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
FourtySeven·2024-01-02 10:18

Kafka提交offset机制

3sPGFihkBbhc41jSaAzCwPnANCbs1z56_l4a1eXnhRtd2XxT5B4r7_2HB3wJT2IhoGMzpD858l_RKRrU8TDQm_&wd=&eqid=e88a5ce70002861e000000035d4cdc76在kafka
北洋同学·2024-01-02 05:04

PiflowX组件-ReadFromUpsertKafka

ReadFromUpsertKafka组件组件说明upsert方式从Kafkatopic中读取数据。
暗影八度·2024-01-01 23:06

PiflowX组件-WriteToUpsertKafka

WriteToUpsertKafka组件组件说明以upsert方式往Kafkatopic中写数据。
暗影八度·2024-01-01 23:05

Debezium日常分享系列之：向 Debezium 连接器发送信号

Debezium日常分享系列之：向Debezium连接器发送信号一、概述二、激活源信号通道三、信令数据集合的结构四、创建信令数据集合五、激活kafka信号通道六、数据格式七、激活JMX信号通道八、自定义信令通道九
最笨的羊羊·2024-01-01 23:32

Azure Service Bus（一）入门简介

一，引言今天开始学习新的内容AzureServiceBus（服务总线），其实也叫”云消息服务“，和RabbitMQ，KafKa的一样都是作为消息通信服务，但是它们直接还有有很多区别的，我这里就不过多解释了
贠乾·2024-01-01 22:11

【Kafka】10道不得不会的 Kafka 面试题

博主介绍：自媒体JavaPub独立维护人，全网粉丝15w+，csdn博客专家、java领域优质创作者，51ctoTOP10博主，知乎/掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和副业。公众号：JavaPub⭐⭐简历模板、学习资料、面试题库等都给你关注公众号【JavaPub】，回复：最少必要面试题，获取《10万字301道Java经典面试题总结(附答案)》pdf，背题更方便
JavaPub·2024-01-01 19:38

JAVA面试题分享二百四十四：彻底理解零拷贝技术( DMA、PageCache)

目录DMAmmap+writesendfilekafka和Nginx都使用了零拷贝技术大文件传输：异步IO+直接IO总结DMA直接内存访问（DirectMemoryAccess）什么是DMA？
之乎者也··2024-01-01 18:00

论最强IO：MappedByteBuffer VS FileChannel

最近一直在研究MQ，开源社区中有很多高性能MQ：kafka、RocketMQ、ActiveMQ，抛开网络传输方式、数据结构设计、文件存储方式...等因素。
布道·2024-01-01 18:59

同城容器集群多活及弹性扩容方案

部署模式相同业务容器集群，按照1:1资源配比,创建两个k8s集群，分别部署在同地域不同可用区，两个容器集群，共用一套数据库部署说明按照1:1资源配比在不同可用区分别创建k8s集群redis/kafka在不同可用区分别创建一套实例
行者深蓝·2024-01-01 13:18

PHP kafka初步测试

1.Mac安装Kafka并启动kafkabrewinstallkafka==>Downloadinghttps://homebrew.bintray.com/bottles/kafka-2.2.0.high_sierra.bottle.tar.gzAlreadydownloaded
鸿雁长飞光不度·2024-01-01 12:54

Flink Kafka[输入/输出] Connector

本章重点介绍生产环境中最常用到的Flinkkafkaconnector。使用Flink的同学，一定会很熟悉kafka，它是一个分布式的、分区的、多副本的、支持高吞吐的、发布订阅消息系统。
程序猿进阶·2024-01-01 11:58

KAFKA、RABBITMQ、ROCKETMQ等消息中间件的介绍和对比

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后文会做详细的介绍。现
公号：java高级架构师·2024-01-01 10:18

Kafka、RabbitMQ、RocketMQ等 消息中间件 介绍和对比

3.1、Kafka3.2、RabbitMQ3.3、RocketMQ4、测试4.1、测试目的4.2、测试场景4.2.1、Kafka4.2.2、RocketMQ4.2.3、RabbitMQ4.3、测试结论5
weixin_30559481·2024-01-01 10:17

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比 侵删

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后文会做详细的介绍。现
心神沫沫·2024-01-01 10:47

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后文会做详细的介绍。现
lxw1844912514·2024-01-01 10:14

Java程序员：世界有三个伟大的发明「火、轮子、kafka」

一、Kafka是什么？有人说世界上有三个伟大的发明：火，轮子，以及Kafka。
Java旺·2024-01-01 04:17

【Java基础系列】body参数前后端不一致

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-01 01:56

Kafka安装及简单使用介绍

java系列技术分享(持续更新中…)初衷:一起学习、一起进步、坚持不懈如果文章内容有误与您的想法不一致,欢迎大家在评论区指正希望这篇文章对你有所帮助,欢迎点赞收藏⭐留言更多文章请点击文章目录一、什么是Kafka
Dream_sky分享·2024-01-01 00:25

接收Kafka数据并消费至Hive表

1Hive客户端方案将Kafka中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在Kafka中的。
程序终结者·2023-12-31 23:49

Kafka_01_Kafka初识

Kafka_01_Kafka初识Kafka基础概念延迟任务KafkaKafka:ZooKeeper协调的分布式消息系统基于Scala语言编写的高性能、多分区、多副本Kafka高性能的原因：页缓存、顺序IO
爱喝可乐的w·2023-12-31 20:48

Kafka系列3-Kafka架构

一.工作流程Kafka中消息是以topic进行分类的，Producer生产消息，Consumer消费消息，都是面向topic的。
只是甲·2023-12-31 19:15

深度剖析 Kafka/RocketMQ 顺序消息的一些坑

我不记得有多少人问过以下这个问题了：我觉得这个问题问得很频繁，而且非常经典，在这里我就以Kafka为例子，说说我对Kafka顺序消息的一些理解吧，如有理解不对的地方麻烦留言指点一下。
fumi106·2023-12-31 19:14

sparkstreamnig实时处理入门

工程创建导入maven依赖  org.apache.spark  spark-streaming_2.12  3.1.2      org.apache.spark      spark-streaming-kafka
Guff_hys·2023-12-31 18:47

kafka 的零拷贝原理

文章目录kafka的零拷贝原理今天来跟大家聊聊kafka的零拷贝原理是什么？
皮皮攻城狮·2023-12-31 16:19

Redis经典五大类型源码及底层实现（二）

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-31 11:38

“幼小科学衔接”专题学习：《有准备的一年级》（一）

腾龙Day73——【学习内容】作者及前言一、作者简介鲁鹏程：家庭教育专家，中华传统文化传播者、推动者，中央人民广播电台、江苏教育电视台等家庭教育类节目特约访谈嘉宾，机械工业出版社“最具影响力作者”之一，作品总销量超过300万册，其中《好妈妈不吼不叫教育男孩100招》等作品广受读者好评，有多部作品入选“中国十大家庭教育图书”“《中国教育报》全国教师暑期阅读推荐项目”等，另有多部作品版权输往韩国、越南
贵龙讲学习·2023-12-31 11:02

Flink 内容分享(十六)：Flink中的容错机制

1.2状态一致性1.2.1一致性的概念和级别1.2.2端到端的状态一致性1.3端到端精确一次（end-to-endexactly-once）1.3.1输入端保证1.3.2输出端保证1.3.3Flink和Kafka
之乎者也··2023-12-31 11:50

支付MQ消费场景改造

前言：这是一个MQ消费程序的业务优化改造场景，我们支付服务的消费方，主要功能是根据规则过滤一些消息，继而处理剩下的消息消息来源：框架监听binlog后向kafka中写入消息（只监听新增）背景：现有一个topicA
北i·2023-12-31 10:31

Kafka集群详解

Kafka介绍Kafka集群介绍Kafka集群特点Kafka集群搭建在这里插入图片描述Kafka集群如何进行故障切换Kafka集群Leader的选举Kafka集群如何快速横向拓展Kafka集群搭建最佳实践
有梦想的攻城狮·2023-12-31 10:00

kafka-python简单生产消费数据

kafka-python使用手册kafka-python1.生产者同步发送数据#生产者同步发送数据fromkafkaimportKafkaProducerfromkafka.errorsimportKafkaErrorproducer
高过蓝天的云·2023-12-31 08:12

Redis经典五大类型源码及底层实现（一）

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-31 08:11

Canal的学习

Canal基本概念整合SpringBoot基本概念Canal是一个基于MySQL数据库增量日志解析，提供增量数据订阅和消费，支持将增量数据投递到下游消费者（如Kafka、RocketMQ等）或者存储（如
kk变色龙13·2023-12-31 08:08

SpringAMQP的使用方式

比较常见的MQ实现：ActiveMQRabbitMQRocketMQKafka几种常见MQ的对比：RabbitMQActiveMQRocketMQKafka公司/社区RabbitApache阿里Apache
Winter.169·2023-12-31 07:51

Spark编程实验四：Spark Streaming编程

目录一、目的与要求二、实验内容三、实验步骤1、利用SparkStreaming对三种类型的基本数据源的数据进行处理2、利用SparkStreaming对Kafka高级数据源的数据进行处理3、完成DStream
Francek Chen·2023-12-31 06:24

kafka（基础）

kafka优点：1.解耦:原本单一的处理过程一拆为二，相当于你可以独立扩展和修改（遵循同样的接口约束）2.可恢复性:即使消息进程挂了，仍可在系统恢复后被处理3.缓冲:可以理解为生产消息的速度和消费速度不一致
斯莫奇·2023-12-31 05:42

分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题

但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！这个特性看起来很简单，但为什么缺省他们都不保证呢？
秋名山车神_f776·2023-12-31 05:59

kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state

kafka.zookeeper.ZooKeeperClientTimeoutException:Timedoutwaitingforconnectionwhileinstate:CONNECTING
spencer_tseng·2023-12-31 04:46

微服务网关选型和实践：Zuul、Spring Cloud GetWay、Kong和Traefik

2年经验总结，告诉你如何做好项目管理Java全套学习资料（14W字），耗时半年整理我肝了三个月，为你写出了GO核心手册消息队列原理和选型：RabbitMQ、Kafka、RocketMQ和ActiveMQ
楼仔·2023-12-31 04:11

k3s安装kafka集群管理工具eagle

KafkaEagle(kafka-eagle.org)smartloli/kafka-eagle:Aeasyandhigh-performancemonitoringsystem,forcomprehensivemonitoringandmanagementofkafkacluster
9e8aeff1c70c·2023-12-31 04:02
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他