---Kafka

设计一个简单的规则引擎

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:22

设计一个抽奖系统

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2024-01-17 19:20

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

下图是flink-cdc最新支持的数据源类型：对有记录事务操作的kafka数据源通过flink-cdc实现实时数据同步kafka的数据源要通过flink-cdc
木棉庭·2024-01-17 18:09

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。
OkGogooXSailboat·2024-01-17 18:36

常用的消息队列和中间件都有哪些

Kafka：Kafka是一个高吞吐量的分布式发布订阅消息系统，由Apache开发。它主要用于处理大规模的实时数据流，具有高性能和可扩展性。
酷爱码·2024-01-17 16:08

flink1.15消费kafka之checkpoint 二

前言上一篇讲解了checkpoint恢复的流程，以及checkpoint恢复时如何从状态中获取topic、partition，开始offset值，本篇主要如何取到offset值进行消费的。流程Task运行时，首先调用doRun方法：publicvoidrun(){try{doRun();}finally{terminationFuture.complete(executionState);}}pr
zhiyi329·2024-01-17 16:29

2024.1.16 用户画像day01 - 项目介绍

elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-spark数据挖掘结构化流-Flume-Kafka-Flink
白白的wj·2024-01-17 15:40

Linux环境下kafka 2.7.0的安装

1下载kafka安装包官方下载地址http://kafka.apache.org/downloadsimage.png使用镜像地址下载,https://mirrors.bfsu.edu.cn/apache
FyK_21f8·2024-01-17 13:22

关于kafka中的tcp连接

生产者建立连接时机启动在创建KafkaProducer实例时，生产者应用会在后台创建并启动一个名为Sender的线程，该Sender线程开始运行时首先会创建与Broker的连接。
kar_joe·2024-01-17 12:35

单节点部署 Gpmall 商城系统

目录实验中使用的技术实验过程实验中使用的技术JavaRedisElasticsearch（先不用）NginxMariaDBZooKeeperKafka实验过程1.Xnode1克隆虚拟机gpmallCRT
守丘·2024-01-17 09:25

kafka-ui通过docker部署

创建docker-compose.yamlservices:kafka-ui:container_name:kafka-uiimage:provectuslabs/kafka-ui:latestports
weixin_43169720·2024-01-17 09:23

Kafka 的架构

实验过程1.三个虚拟机中解压kafka软件包tar-zxvfkafka_2.11-1.1.1.tgz2.修改3个节点配置文件在zookeeper节点，进入kafka_2.11-1.1.1/config目录下
守丘·2024-01-17 09:52

Linux 安装 Apache Kafka

一、安装下载kafka，下载地址，只是使用的话下载Binary版本就行。
South_BJ·2024-01-17 08:10

kafka简单介绍和代码示例

“这是一篇理论文章，给大家讲一讲kafka”简介在大数据领域开发者常常会听到MQ这个术语，该术语便是消息队列的意思，Kafka是分布式的发布—订阅消息系统。
necessary653·2024-01-17 07:53

Kafka学习

Kafka的消息通过主题（topic）进行分类主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性消息以追加的方式写入分区，然后以先入先出（FIFO）
error0318·2024-01-17 07:37

Kafka 简介

目录1、概念介绍Kafka由来ZooKeeperKafka特性Kafka使用场景Kafka复制备份2、Kafka架构BrokerTopicProducerPartitionConsumersConsumerGroupDistribution1
HuaLuLemon·2024-01-17 07:03

Kafka 集群部署

目录1、环境准备2、搭建ZooKeeper集群配置文件节点标记环境变量启动集群数据同步测试故障测试3、搭建Kafka集群配置文件环境变量配置其他机器启动服务4、集群测试创建Topic显示Topic配置创建
HuaLuLemon·2024-01-17 07:03

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。
happystudy_neu·2024-01-17 07:32

Kafka详解及常见面试问题解析（值得珍藏）

1.定义Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
孤蓬&听雨·2024-01-17 07:29

springboot2.x整合kafka【详细】

文章目录一、中间件部署1.环境2.版本选择依据3.解压安装3.1zookeeper安装部署3.2kafka安装部署二、springboot整合1.pom.xml添加依赖2.application.yml
喵王叭·2024-01-17 06:16

Spark面试

它支持从多种数据源读取数据，比如Kafka、Flume、Twitte
lune_Lucky·2024-01-17 05:30

【Kafka】log4j2漏洞不影响集群安全

1.背景最近发现不少文章提到log4j的远程代码执行漏洞会影响Kafka，在此向大家说明Kafka采用的版本是log4j1.2.17且不受此事件影响2.详情打开GitHub-apache/kafka默认主分支
扬_帆_起_航·2024-01-17 04:40

springboot集成kafka消费数据

springboot集成kafka消费数据文章目录springboot集成kafka消费数据1.引入pom依赖2.添加配置文件2.1.添加KafkaConsumerConfig.java2.2.添加KafkaIotCustomProperties.java2.3
这名字应该不会重复吧·2024-01-17 02:33

【算法Hot100系列】全排列

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-17 01:21

kafka内外网配置

看此文档，需要首先会安装kafka集群，zookeeper集群；熟悉组件命令；三台kafka集群（设置加密通道）：192.168.1.86:9092外网IP:19092192.168.1.87:9092
窦再兴·2024-01-17 00:16

flume

Kafka网络端口数据1.2Flume基础架构1.
添柴少年yyds·2024-01-17 00:55

Kafka-RecordAccumulator分析

前面介绍过，KafkaProducer可以有同步和异步两种方式发送消息，其实两者的底层实现相同，都是通过异步方式实现的。
Andy技术支援·2024-01-16 22:52

「Kafka」Broker篇

「Kafka」Broker篇主要讲解的是在Kafka中是怎么存储数据的，以及Kafka和Zookeeper之间如何进行数据沟通的。
小成同学_·2024-01-16 21:44

Kafka-核心概念

消息消息是Kafka中最基本的数据单元。消息由一串字节构成，其中主要由key和value构成，key和value也都是byte数组。
Andy技术支援·2024-01-16 20:13

Kafka-生产者

Kafka在实际应用中，经常被用作高性能、可扩展的消息中间件。Kafka自定义了一套网络协议，只要遵守这套协议的格式，就可以向Kafka发送消息，也可以从Kafka中拉取消息。
Andy技术支援·2024-01-16 20:13

Docker安装各种软件

目录一.Nacos二.MySQL5.7三.Tomcat四.Clickhouse五.Redis六.Zookeeper七.Kafka八.Flink九.Fastdfs十.RabbitMQ十一.Elasticsearch
黑暗对我避而远之·2024-01-16 20:37

Kafka系列(三）

其中三将讲述kafka座位消息中间件的代码样例，四将讲述kafka的stream流式计算处理。
happystudy_neu·2024-01-16 19:07

结构化流的介绍

目录有界数据和无界数据有界数据无界数据结构化流基本介绍入门案例结构化流的编程模型数据结构数据源(Source)FileSourceKafkaSource(Spark和Kafka整合)整合Kafka准备工作从
Sisi525693·2024-01-16 19:58

CentOS安装maxwell

停止maxwell四、说明1、更新数据2、插入数据3、删除数据五、遇到问题一、简介maxwell是由美国Zendesk公司开源，它通过读取mysql的binlog日志，将数据变更以JSON的方式发送给Kafka
GreaterBuilder·2024-01-16 18:57

maxwell同步全量历史数据

CentOS安装maxwell在上篇的基础上，我们实现了实时同步mysql数据到kafka。maxwell不仅可以同步实时数据，也可以同步全量历史数据。
GreaterBuilder·2024-01-16 18:26

【Mybatis系列】Mybatis空值关联

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-16 16:26

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网Hadoop安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式Spark、Kafka
白令屿·2024-01-16 13:53

Maxwell&数据同步（增量）

它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以JSON格式发送给Kafka、Kinesi等流数据处理平台。
韩顺平的小迷弟·2024-01-16 11:25

docker中快速安装Kafka(单节点)

docker中快速安装Kafka_单节点1.拉镜像2.创建网络环境3.运行zookeeper容器实例4.运行kafka容器实例5.启动kafka客户端容器实例6.配置说明7.docker中topic常用命令操作
小袁搬码·2024-01-16 11:20

【脑筋急转弯系列】乒乓球称重问题

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-16 10:42

Kafka系列（一）

组件概念broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态一个Kafka的broker
happystudy_neu·2024-01-16 10:20

Kafka用法总结

Kafka用法总结一、Kafka是什么Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
天选之子123·2024-01-16 10:19

kafka系列(二）

本章承接kafka一内容，文章在本人博客主页都有，可以自行点击浏览。幂等性请求执行多次，但执行的结果是一致的。如果，某个系统是不具备幂等性的，如果用户重复提交了某个表格，就可能会造成不良影响。
happystudy_neu·2024-01-16 10:48

Kafka入门基本概念（详细）

什么是kafkaKafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统），它可以处理消费者在网站中的所有动作流数据。
学会用脚编程·2024-01-16 10:17

10、Kafka ------ 消费者组 和 消费者实例，分区 和 消费者实例 之间的分配策略

目录消费者组和消费者实例★消费者组★分区和消费者实例★分配分区（分区和消费者实例之间的分配策略）3种分配策略★range策略★round-robin策略（轮询）★stick策略如何指定分配分区的策略：消费者组和消费者实例★消费者组形象来说：你可以把主题内的多个分区当成多个子任务、多个子任务组成项目，每个消费者实例就相当于一个员工，假如你们team包含2个员工。项目主题team（2个员工）5个子任务
_L_J_H_·2024-01-16 10:17

Flink（十三）【Flink SQL（上）】

今天开始学习Flink最后一部分FlinkSQL，完了还有不少框架得学：Kafka、Flume、ClickHouse、Hudi、Azkaban、OOzie...有的算是小工具，不费劲，但是学完得复习啊，
让线程再跑一会·2024-01-16 08:33

【消息队列 MQ 专栏】RabbitMQ

市面上的消息队列产品有很多，比如老牌的ActiveMQ、RabbitMQ，目前我看最火的Kafka，还有ZeroMQ，去年底阿里巴巴捐赠给Apache的RocketMQ，连redis这样的NoSQL数据库也支持
豆奶快攻·2024-01-16 07:01

RocketMQ联合创始人：选择MQ时，要注意的有哪些？

谈起消息系统中间件，就开源项目而言，用户的选择其实很多，包括ActiveMQ、ZeroMQ、Kafka等。那到底Rocke
豆奶快攻·2024-01-16 07:01

消息中间件选型分析

消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局有很多网友留言：公司要做消息中间件选型，该如何选？你觉得哪个比较好？消息选型的确是一个大论题，实则说来话长的事情又如何长话短说。
豆奶快攻·2024-01-16 07:01

Spark Structured Streaming + Kafka +Json

  org.apache.spark  spark-sql-kafka-0-10_2.11  2.1.1    org.apache.spark    spark-sql_2.11    2.1.1importorg.apache.spark.sql.SparkSessionobjectMyTest
zhangxl-jc·2024-01-16 07:00
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他