E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka原理解析
Java——》JSONObjet 数据顺序
推荐链接:总结——》【Java】总结——》【Mysql】总结——》【Redis】总结——》【
Kafka
】总结——》【Spring】总结——》【SpringBoot】总结——》【MyBatis、MyBatis-Plus
小仙。
·
2023-12-05 04:00
Java
java
json
JSONObject
map
了解ThreadLocal的原理吗
最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、
Kafka
、Elasticsearch、数据库等等获取方式
飞乐鸟
·
2023-12-05 04:53
java
Python (十八) 正则表达式
最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、
Kafka
、Elasticsearch、数据库等等获取方式
飞乐鸟
·
2023-12-05 04:51
#
基础
正则表达式
Flume+
Kafka
双剑合璧玩转大数据平台日志采集
大数据平台每天会产生大量的日志,处理这些日志需要特定的日志系统。一般而言,这些系统需要具有以下特征:构建应用系统和分析系统的桥梁,并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展为此建议将日志采集分析系统分为如下几个模块:数据采集模块:负责从各节点上实时采集数据,建议选用Flume-NG来实现。数据
浪尖聊大数据-浪尖
·
2023-12-05 02:12
分布式
网络
kafka
hadoop
大数据
【docker系列】docker实战之部署SpringBoot项目
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2023-12-05 01:33
s10
分布式
docker
spring
boot
容器
大数据开发:
Kafka
消息存储到Broker的流程
Kafka
作为分布式消息系统,在大数据平台架构层面,承担着消息流转和存储支持的重要任务。消息经
kafka
引入到大数据系统平台,存储是一道重要的关卡。
成都加米谷大数据
·
2023-12-04 23:34
2022我凭借这份文档成功拿到了阿里,京东等四家大厂offer
今天给大家分享我拿到大厂offer的利器,大厂核心知识面试宝典,内容点包含有java集合,jvm,并发编程,spring,mybatis,springMVC,微服务,Dubbo,netty,网络,zookeeper,
kafka
优雅程序员阿鑫
·
2023-12-04 21:58
大数据的技术栈-逐步完善
2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb.集群架构4.数仓模型知识5.开发工具a.Dbeaverb.Idea6.
kafka
7
刘文钊1
·
2023-12-04 20:12
大数据
flink sink多个topic
_importorg.apache.flink.streaming.connectors.
kafka
.
Thomas2143
·
2023-12-04 19:56
总结
flink
大数据
【Azure 事件中心】在Windows系统中使用
kafka
-consumer-groups.bat 查看Event Hub中
kafka
的consumer groups信息
问题描述使用ApacheFlink连接支持Apache
Kafka
的AzureEventHub后,由于消费端的ConsumerGroup是动态创建,在门户页面和ServiceBusExplorer工具中均无法查看
云中路灯
·
2023-12-04 18:22
你好!插值查找【JAVA】
2.
原理解析
1.插值查找算法类似于二分查找,
会敲代码的小张
·
2023-12-04 18:21
算法
数据结构
java
idea
后端
和同事交流不会
kafka
怎么行,API奉上,不是大神也能编
对于
kafka
真的是又爱又恨,作为架构和大数据两个方面的通用者,在这个数据量称雄的时代,越来越起到至关重要的作用,在和同事进行交流的时候,
kafka
在开发的过程中如何使用能起到最大的效果成为话题之一,那没有用过
java架构师联盟
·
2023-12-04 18:31
zookeeper集群+
kafka
集群:
kafka
3.0之前依赖于zookeeper。zookeeper开源,分布式的架构。提供协调服务(Apache项目)基于观察者模式涉及的分布式服务管理架构。存储和管理数据。
Lad1129
·
2023-12-04 17:28
zookeeper
kafka
分布式
分布式运用之Filebeat+
Kafka
+ELK 的服务部署
1.
Kafka
架构深入了解1.1
Kafka
工作流程及文件存储机制
Kafka
中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。
Lad1129
·
2023-12-04 17:23
elk
Flink 自定义Avro序列化(Source/Sink)到
kafka
中
前言环境所依赖的pom文件 org.apache.avro avro 1.8.2 org.apache.flink flink-scala_2.12 1.10.1
大数据老哥
·
2023-12-04 16:47
Redis5新特性-stream
Stream队列Redis5.0最大的新特性就是多出了一个数据结构Stream,它是一个新的强大的支持多播的可持久化的消息队列,作者声明RedisStream地借鉴了
Kafka
的设计。
kk_0910
·
2023-12-04 14:56
redis
Redis队列详解(springboot实战)
前言MQ应用有很多,比如ActiveMQ,RabbitMQ,
Kafka
等,但是也可以基于redis来实现,可以降低系统的维护成本和实现复杂度,本篇介绍redis中实现消息队列的几种方案,并通过springboot
book多得
·
2023-12-04 14:11
常用
学习日记
数据库
java
数据结构
redis
spring
boot
一款
Kafka
可视化Web界面管理工具:CMAK
使用过
KafKa
集群的人都知道,要记住
KafKa
的命令对于新手确实比较难,所以一般都会寻找能在页面操作的管理工具。
testerzhang
·
2023-12-04 14:35
kafka
3.6.0部署
部署zkhttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1.tar.gztar-xfapache-zookeeper-3.9.1.tar.gz-C/appscd/apps/&&ln-sapache-zookeeper-3.9.1zookeeper修改配置```bas
inner222
·
2023-12-04 13:04
kafka
kafka
反序列化错误处理
当消费者发生反序列化失败时会导致消费者偏移量不会向后移动,而且海量的错误日志会将磁盘写满,因此需要针对此类错误进行手动处理Concurrent
Kafka
ListenerContainerFactoryfactory
SongJingzhou
·
2023-12-04 12:07
kafka
kafka
分布式
kafka
的详细安装部署
introduce
Kafka
是一个分布式流处理平台,主要用于处理高吞吐量的实时数据流。
Kafka
最初由LinkedIn公司开发,现在由ApacheSoftwareFoundation维护和开发。
我的麦子熟了。
·
2023-12-04 12:34
kafka
分布式
SpringBoot 2.0 中 HikariCP 数据库连接池
原理解析
作为后台服务开发,在日常工作中我们天天都在跟数据库打交道,一直在进行各种CRUD操作,都会使用到数据库连接池。按照发展历程,业界知名的数据库连接池有以下几种:c3p0、DBCP、TomcatJDBCConnectionPool、Druid等,不过最近最火的是HiKariCP。HiKariCP号称是业界跑得最快的数据库连接池,自从SpringBoot2.0将其作为默认数据库连接池后,其发展势头锐不可
一百减一是零
·
2023-12-04 12:21
#
数据库连接池
数据库
spring
boot
oracle
搭建大型分布式服务(三十六)SpringBoot 零代码方式整合多个
kafka
数据源
系列文章目录文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、测试一下五、小结前言让我们来看一下网上是怎样使用SpringBoot整合
kafka
数据源的,都存在哪些痛点?
hanyi_
·
2023-12-04 11:14
分布式
java
spring
boot
kafka
linq
SpringBoot批量获取
Kafka
消息(一)
导读:通过本文可以学习到SpringBoot整合
Kafka
、逐条消费
Kafka
消息、批量收取
Kafka
消息以及SpringBoot整合Embedded
Kafka
进行无需启动外部
kafka
-server的单元测试
hanyi_
·
2023-12-04 11:12
java
kafka
spring
boot
java
SpringBoot批量获取
Kafka
消息(二)
导读:通过本文可以学习到SpringBoot整合
Kafka
、逐条消费
Kafka
消息、批量收取
Kafka
消息以及SpringBoot整合Embedded
Kafka
进行无需启动外部
kafka
-server的单元测试
hanyi_
·
2023-12-04 11:12
日常笔记
kafka
spring
spring
boot
java
28 主题管理
1.如何删除主题执行
kafka
-topics脚本,删除操作是异步的,执行完脚本只是把主题标记为已删除2.删除主题失败可能原因:副本所在broker宕机了待删除主题的部分分区还在迁移解决方法:手动删除zk
ZyyIsPig
·
2023-12-04 08:09
kafka核心技术与实战
kafka
基于hadoop下的
Kafka
分布式安装
简介
Kafka
是一种分布式流处理平台,它具有高吞吐量、可扩展性、可靠性、实时性和灵活性等优点。它能够支持每秒数百万条消息的传输,并且可以通过增加节点来增加吞吐量和存储容量。
necessary653
·
2023-12-04 08:37
分布式
kafka
hadoop
大数据
数据库
29
kafka
动态配置
为什么需要动态配置线上运行的
kafka
broker修改配置需要重启的话,影响比较大。
ZyyIsPig
·
2023-12-04 08:06
kafka核心技术与实战
kafka
【译】Industry Paper:
Kafka
versus RabbitMQ
今天和大家分享一篇关于
Kafka
和RabbitMQ对比的论文,该论文是诺基亚贝尔实验室(NokiaBellLabs)发表的工业界论文,系统阐述了二者的区别,可以帮助大家在发布订阅系统选型上提供帮助。
seasame711
·
2023-12-04 07:26
rabbitmq
kafka
分布式
惊了 消息中间件合集:MQ(ActiveMQ/RabbitMQ/RocketMQ)+
Kafka
+笔记
附面试思维导图:额,有点不知所措,于是乎小编就想着做一次消息中间件的专题,归类整理了MQ(ActiveMQ/RabbitMQ/RocketMQ)+
Kafka
等的纯手绘知识体系图、面试以及相关的学习笔记。
南方葵籽
·
2023-12-04 07:55
面试
java
编程
kafka
rabbitmq
面试
多线程高并发,spring整合
kafka
消费
为了更好的梳理相关知识,咱们先看纯手绘知识体系图1.1
Kafka
知识体系大纲由于我手绘这些知识体系大纲是用的xmind软件,无法上传,所以都以截图的形式展示,细节处不清楚(毕竟图片形式有限)1.2RabbitMQ
spring知识点大全
·
2023-12-04 07:55
程序员
面试
后端
java
(ActiveMQ/RabbitMQ/RocketMQ)+
Kafka
笔记,这份神仙笔记,让我佩服的五体投地
额,有点不知所措,于是乎小编就想着做一次消息中间件的专题,归类整理了MQ(ActiveMQ/RabbitMQ/RocketMQ)+
Kafka
等的纯手绘知识体系图、面试以及相关的学习笔记。
Java可可
·
2023-12-04 07:55
java-rabbitmq
rabbitmq
kafka
深入剖析
Kafka
--Producer篇
转自:https://blog.csdn.net/szwandcj/article/details/76796459背景
Kafka
诞生于Linkedin,以可靠性和巨量吞吐著称,网上清一色将它归为消息队列
_宇宙浪子_
·
2023-12-04 07:25
消息中间件
producer
kafka
kafka
简介
特点高吞吐量:单机每秒几百MB的读写消息持久化高扩展性高可靠性支持多消费者(这个是比较重要的特点)拓扑结构Broker:
Kafka
集群包含一个或多个服务器,这种服务器被称为brokerProducer:
码蹄疾
·
2023-12-04 07:25
kafka
apache
服务器
分布式
linkedin
应该在同一个
Kafka
主题中放入几种事件类型吗?
采用Apache
Kafka
等流平台,有个很重要的问题是:将使用哪些主题?特别是,如果要将一堆不同的事件作为消息发布到
Kafka
,是将它们放在同一主题中,还是将它们拆分为不同的主题?
javarrr
·
2023-12-04 07:25
spring
springboot
spark
springcloud
mysql
kafka
java
程序员
架构师
IT
SpringBoot整合
Kafka
SpringBoot整合
Kafka
文章目录SpringBoot整合
Kafka
下载与安装创建topic,测试生产消费程序SpringBoot整合
Kafka
导坐标做配置做客户端下载与安装下载地址:https
shall_zhao
·
2023-12-04 07:54
spring
boot
kafka
后端
Kafka
的起源和背景
Apache
Kafka
是一个分布式流处理平台,被广泛用于构建实时数据流应用程序和大数据处理系统。本文将深入探讨
Kafka
的起源、设计原则以及它在大数据领域中的重要作用。
晓之以理的喵~~
·
2023-12-04 07:54
KafKa
kafka
linq
分布式
深入理解
Kafka
集群搭建与管理
Apache
Kafka
作为分布式流处理平台的核心,其集群搭建与管理是确保高可用性和高性能的关键。
晓之以理的喵~~
·
2023-12-04 07:42
KafKa
kafka
分布式
Kafka
的特点和优势
Apache
Kafka
作为一款分布式流处理平台,以其独特的特点和卓越的优势成为实时数据处理领域的瑰宝。本文将深入研究
Kafka
的各项特点和优势,并通过详实的示例代码展示其在不同场景下的强大应用。
晓之以理的喵~~
·
2023-12-04 07:12
KafKa
kafka
linq
分布式
Kafka
架构深度解析:生产者(Producer)和消费者(Consumer)
Apache
Kafka
作为分布式流处理平台,其架构中的生产者和消费者是核心组件,负责实现高效的消息生产和消费。本文将深入剖析
Kafka
架构中生产者和消费者的工作原理、核心概念以及高级功能。
晓之以理的喵~~
·
2023-12-04 07:12
KafKa
kafka
架构
linq
zookeeper+
kafka
+ELK+filebeat集群
zookeeper工作机制:2、zookeeper主要作用:3、zookeeper特性:4、zookeeper的应用场景:5、领导者和追随者:zookeeper的选举机制二、zookeeper安装部署:三、消息队列:
kafka
1
koeda1(粉丝冲刺一个亿)
·
2023-12-04 07:11
ELK
zookeeper
kafka
elk
03 数仓平台
Kafka
kafka
概述定义
Kafka
是一个开源的分布式事件流平台(EventStreamingPlantform),主要用于大数据实时领域。
kk_io
·
2023-12-04 04:17
数据仓库
kafka
分布式
超硬核解析Mybatis动态代理原理!只有接口没实现也能跑?
文章目录前言Mybatisdao层两种实现方式的对比原始Dao开发原始Dao开发的弊端基于Mapper动态代理的开发方式Mybatis动态代理实现方式的
原理解析
动态代理调用链路解析先给出链路调用结果1、
Apple_Web
·
2023-12-04 04:26
深入学习MyBatis
mybatis
java
开发语言
调度中心集群参考
总体思路利用
kafka
单播模式:开启一个定时任务利用
kafka
广播模式:关闭某个定时任务实现代码WcsTimerManager类packagecom.isoftstone.hig.wmsck.adapters.jd.common.timermanager
PeepSoul
·
2023-12-04 04:05
Maxwell数据库数据采集-大数据week12-DAY1-Maxwell
数据库数据实时采集1、Maxwell简介2、MysqlBinlog介绍2.1Binlog简介2.2Binlog的日志格式3、Mysql实时数据同步方案对比4、开启Mysql的Binlog5、Maxwell安装部署6、
kafka
低调的小哥哥
·
2023-12-04 02:44
Java大数据
zookeeper集群+
kafka
集群
Kafka
3.0之前依赖于zookeeperZookeeper开源,分布式的架构,提供协调服务(apache项目)基于观察者模式设计的分布式服务管理架构存储和管理数据,分布式节点上的服务接受观察者的注册
2301_79410672
·
2023-12-04 02:08
zookeeper
kafka
分布式
Kafka
原理深入解析
前言为什么要学习使用
kafka
?
kafka
到底能够为我们的系统来带什么?带着问题,我们才能去思考,去尝试寻找解决的方案。
MaAidan
·
2023-12-04 00:52
java
Kafka
集群增加节点(Broker)
初始化新节点准备三台新节点,分别安装相同版本
kafka
应用,并复制原集群配置进行修改。启动三台节点观察是否加入集群成功。迁移topic分区查看topic在哪些分区上sh.
天空海阔linan
·
2023-12-03 23:38
大数据相关
kafka
java
Kafka
__consumer_offsets 占用磁盘空间过大处理
下班后接到线上告警,
Kafka
磁盘空间超过80%;急需处理;真开心呀首先登录机器查看
Kafka
日志目录,定位到__consumer_offsets分区文件占用71G数据,历史文件未清除;原因
Kafka
中用于保存消费者消费位移的主题
天空海阔linan
·
2023-12-03 23:37
大数据相关
kafka
java
big
data
初识RocketMQ
1、简介RocketMQ是阿里巴巴在2012年开源的消息队列产品,用Java语言实现,在设计时参考了
Kafka
,并做出了自己的一些改进,后来捐赠给Apache软件基金会,2017正式毕业,成为Apache
清爽的暗之妖刀0369
·
2023-12-03 23:22
消息队列
rocketmq
上一页
44
45
46
47
48
49
50
51
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他