Kafka原理解析

docker-compose搭建kafka单机集群环境

1.配置网络(复用已有网络)1.1创建docker虚拟网络#创建一个名为clickhouse的桥接(bridge)虚拟网络，网关172.26.0.1，网段为172.25.0.0dockernetworkcreate-dbridge--subnet=172.26.0.0/16--gateway=172.26.0.1clickhouse2.启停命令在docker-compose.yml路径下:构建开启
销毁first·2023-12-24 12:05

k8s日志收集方案及实战

kibana安装配置2.1kibana安装2.2kibana配置2.3启动kibana3、zookeeper安装配置3.1zookeeper安装3.2启动zookeeper3.3检查zookeeper状态4、kafka
唐僧骑白马·2023-12-24 11:03

kubernetes集群 应用实践 kafka部署

kubernetes集群应用实践kafka部署零.1、环境说明零.2、kafka架构说明zookeeper在kafka集群中的作用一、Broker注册二、Topic注册三、TopicPartition选主四
师范大学通信大怨总·2023-12-24 11:58

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02

《PySpark大数据分析实战》-01.关于数据

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

《PySpark大数据分析实战》-18.什么是数据分析

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

微服务之配置中心与服务跟踪

配置中心数据分类事件调度（kafka）消息服务和事件的统一调度，常用用kafka，activemq等。
武昌库里写JAVA·2023-12-24 09:02

ELK分析k8s应用日志

ELK分析k8s应用日志日志收集过程架构安装elasticsearch-6.8.6安装kafkakafka-manager安装安装filebeat在spinnaker中配置日志收集容器filebeat部署
岳大博·2023-12-24 09:48

【Flink】Flink-Kafka序列化反序列化

SimpleStringSchema，对字符串进行序列化反序列化，这个Schema中既实现了了序列化，也实现了反序列化newSimpleStringSchema()union.addSink(newFlinkKafkaProducer011
一杯咖啡半杯糖·2023-12-24 08:52

Flink消費kafka数据的反序列化方式

Flink消費kafka数据的反序列化方式Flink反序列化顶层接口1.DeserializationSchema接口2.KafkaDeserializationSchema接口接收kafka数据时常用的反序列化类
闻风-堡·2023-12-24 08:52

Flink实时计算运用（七）Flink 自定义序列化Protobuf接入实现方案

功能：kafka对同一Topic的生产与消费，采用Protobuf做序列化与反序列化传输，验证能否正常解析数据。
麦神-mirson·2023-12-24 08:49

记flink消费kafka 数据序列化失败

报错如下Exceptioninthread"main"org.apache.flink.runtime.client.JobExecutionException:Jobexecutionfailed.atorg.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:147)atorg.apache.
lbl251·2023-12-24 08:49

okhttp4原理解析——概览以及和okhttp3之间的比较（超级概括）

开篇直接上流程图流程.png前言之前写了一个okhttp3的原理解析，后来再翻阅GitHub的时候发现okhttp已经到4了，不禁大呼“大人，时代不同啦！”。
Dex_·2023-12-24 07:01

【Kafka集群架构设计原理】

文章目录一、Kafka的Zookeeper元数据梳理一、Kafka的Zookeeper元数据梳理1、zookeeper整体数据Kafka将状态信息保存在Zookeeper中，这些状态信息记录了每个Kafka
向前再向前·2023-12-24 07:35

kafka 入门详解

KafkaKafka核心概念什么是KafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
janlle·2023-12-24 06:23

Kafka日志

位置server.properties配置文件中通过log.dir指定日志存储目录log.dir/{topic}-{partition}核心文件.log存储消息的日志文件，固定大小为1G，写满后会新增一个文件，文件名表示当前日志文件记录的第一条消息的偏移量。.index以偏移量为索引来记录对应的.log日志文件中的消息偏移量.timeindex以时间戳为索引来记录对应的.log日志文件中的消息偏移
小淘淘喵的主人·2023-12-24 06:46

【kafka】在linux中安装并简单部署使用

文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台：发布订阅消息队列、具有存储功能、一个流处理框架优势吞吐量好，性能好伸缩性好，支持在线扩展容错性和可靠性（容错性：一个消息存储三份）与大数据生态紧密结合，可无缝对接hadoop、s
古枫桐·2023-12-24 05:35

antdesignpro实现滚动加载分页数据

原理解析：每滚动一次相当于翻页，请求后端时给的页码参数要想办法加1，后端才能根据页码给出相应数据注意后端收到页码参数之后要准确计算出每页的首行数据，关键逻辑代码：#根据前端传的页码，进行计算下一页的起始行号
John.liu_Test·2023-12-24 01:51

Kafka+Flink 实现准实时异常检测系统

1.背景介绍异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的行业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。所谓准实时，即要求延迟在100ms以内
Java大生·2023-12-24 00:27

【Kafka架构及应用】

Kafka的架构和运行原理Kafka是一个分布式流处理平台，它由以下几个核心组件组成：Broker：Kafka集群中的一个节点，负责接收、存储和转发消息。
Oo_Amy_oO·2023-12-24 00:25

如何应对 RocketMQ 消息堆积

虽然笔者经常讲：RocketMQ、Kafka具备堆积的能力，但是以下场景需要重点关注消息堆积和延迟的问题：业务系统上下游能力不匹配造成的持续堆积，且无法自行恢复。
虚无火星车·2023-12-23 21:53

[每周一更]-(第37期)：PHP常见的操作消息队列

Kafka：Kafka是另一个流行的消息队列系统，也被广泛应用于分布式系统的消息传递和异步处理。在PHP中，可以使用rdkaf
ifanatic·2023-12-23 16:41

[每周一更]-(第38期)：Go常见的操作消息队列

ApacheKafka：ApacheKafka是一个开源的分布式流处理平台，也可以用作消息队列，用于处理高容量的消息流和实时数据。Kafka提供了高
ifanatic·2023-12-23 16:40

SparkStreaming和Kafka

0.一些问题SparkStreaming如何消费KafkaKafka的offset如何维护如何获取Kafka的offsetKafka获取offset的时候会不会消费kafka的记录Kafka的分区和sparktask
天之見證·2023-12-23 16:25

【高效开发工具系列】eclipse部署web项目

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2023-12-23 12:10

11-Kafka

1KafkaKafka是一个分布式流式数据平台，它具有三个关键特性MessageSystem:Pub-Sub消息系统Availability&Reliability：以容错及持久化的方式存储数据记录流Scalable
爱写代码的小男孩·2023-12-23 09:20

SparkStreaming学习记录

2.BasicConceptsMaven依赖org.apache.sparkspark-streaming_2.122.4.1provided如果数据源来自Kafka或Flume等，需要添加如下依赖SourceArtifactKafkaspark-streaming
Jorvi·2023-12-23 08:49

kafka流数据_使用数据流将Kafka转换为BigQuery

kafka流数据Disclaimer:IworkatGoogleinthecloudteam.Opinionsaremyownandnottheviewsofmycurrentemployer.免责声明
weixin_26752759·2023-12-23 08:24

【FLink消费Kafka之FlinkConsumer到KafkaSource的转变】

前言上篇介绍了flink的入门程序wordcount，在项目开发过程中，最常接触的还是跟各种源头系统打交道，其中消费接收kafka中的数据是最常见的情况，而flink在1.15版本后连接kafka的依赖包发生了变化
以茉萱·2023-12-23 07:07

【Kafka每日一问】kafka三种压缩方式差别?

Kafka提供了三种压缩算法，分别是GZIP、Snappy和LZ4。
jianjun_fei·2023-12-23 07:36

【Kafka-Eagle】EFAK告警配置与实践

Kafka-Eagle是一个开源的Kafka集群监控与告警系统，可以帮助用户实现对Kafka集群的实时监控、性能指标收集以及异常告警等功能。
后端研发Marion·2023-12-23 07:36

Kafka怎么保证消息发送不丢失

前言Kafka发送消息是异步发送的，所以我们不知道消息是否发送成功，所以会可能造成消息丢失。而且Kafka架构是由生产者-服务器端-消费者三种组成部分构成的。
.L.JIN.Jie·2023-12-23 07:04

Kafka收发消息核心参数详解

从客户端属性来梳理客户端工作机制消费者分组消费机制生产者拦截器机制消息序列化机制消息分区路由机制生产者消息缓存机制发送应答机制生产者消息幂等性生产者消息事务三、客户端流程总结四、SpringBoot集成Kafka
小超同学卷起来·2023-12-23 07:34

分布式理论（CPA/BASE）和分布式服务Dubbo

分布式分为分布式缓存（Redis）、分布式锁（Redis或Zookeeper）、分布式服务（Dubbo或SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka、RabbitMq
周大豆·2023-12-23 03:59

java 编译运行原理_Java编译和解释执行对比及原理解析

编程语言分为低级语言和高级语言，机器语言、汇编语言是低级语言，C、C++、java、python等是高级语言。机器语言是最底层的语言，能够直接执行。而我们编写的源代码是人类语言,计算机只能识别某些特定的二进制指令，在程序真正运行之前必须将源代码转换成二进制指令。汇编语言通过汇编器翻译成机器指令后执行，一条汇编指令，对应着一条机器指令。高级语言编程的程序有三种执行方式：1.一种是编译执行，源程序先通
weixin_39712705·2023-12-23 02:42

java静态编译原理_基本功 | Java即时编译器原理解析及实践

一、导读常见的编译型语言如C++，通常会把代码直接编译成CPU所能理解的机器码来运行。而Java为了实现“一次编译，处处运行”的特性，把编译的过程分成两部分，首先它会先由javac编译成通用的中间形式——字节码，然后再由解释器逐条将字节码解释为机器码来执行。所以在性能上，Java通常不如C++这类编译型语言。为了优化Java的性能，JVM在解释器之外引入了即时(JustInTime)编译器：当程序
学写作的丧失·2023-12-23 02:12

实时更改数据捕获到 BigQuery — 没有 Kafka，没有Dataflow

实时更改数据捕获到BigQuery—没有Kafka，没有Dataflow使用Debezium和Pub/Sub实时运行从MySQL到BigQuery的CDC概念验证……我已经有一段时间没有考虑使用Debezium
xuejianxinokok·2023-12-23 00:56

Redis大Key问题

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-22 21:47

Mysql索引优化

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-22 21:47

Redis浅谈

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-22 21:17

Mysql的SQL优化和锁

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-22 21:16

十分详细的diff算法原理解析

本文我们总结一下有关diff算法的相关内容和实现原理开门见山，直接先给出大家diff算法的概念diff算法可以看作是一种对比算法，对比的对象是新旧虚拟Dom。顾名思义，diff算法可以找到新旧虚拟Dom之间的差异，但diff算法中其实并不是只有对比虚拟Dom，还有根据对比后的结果更新真实Dom。虚拟Dom上面的概念我们提到了虚拟Dom，相信大家对这个名词并不陌生，下面为大家解释一下虚拟Dom的概念
Dddusty·2023-12-22 18:41

四种消息队列，如何选型

这篇文章，主要讲述Kafka、RabbitMQ、RocketMQ和ActiveMQ这4种消息队列的异同，无论是面试，还是用于技术选型，都有非常强的参考价值。01消息队列基础1.1什么是消息队列？
ღ᭄陽先生꧔ꦿ᭄·2023-12-22 17:55

CloudCanal x Debezium 打造实时数据流动新范式

简述Debezium是一个开源的数据订阅工具，主要功能为捕获数据库变更事件发送到Kafka。
ClouGence·2023-12-22 16:48

kafka单节点安装与启动

主机环境与依赖操作系统：centos7CPU架构：x86_64软件依赖：jdk1.8以及zookeeper3.6.3kafka下载与解压mkdir/data&&cd/datawgethttps://dlcdn.apache.org
从大数据到人工智能·2023-12-22 13:11

SpringBoot 2.0 中默认 HikariCP 数据库连接池原理解析

作为后台服务开发，在日常工作中我们天天都在跟数据库打交道，一直在进行各种CRUD操作，都会使用到数据库连接池。按照发展历程，业界知名的数据库连接池有以下几种：c3p0、DBCP、TomcatJDBCConnectionPool、Druid等，不过最近最火的是HiKariCP。HiKariCP号称是业界跑得最快的数据库连接池，自从SpringBoot2.0将其作为默认数据库连接池后，其发展势头锐不可
jsl小时光·2023-12-22 13:27

5分钟搞定 关系型数据库 到 Flink 数据同步

本文主要介绍如何通过CloudCanal快速构建一条高效稳定运行的MySQL->Kafka->Flink数据同步链路。技术点兼容多种常见消息结构CloudCanal目前支持DebeziumE
ClouGence·2023-12-22 13:31
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他