E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
---Kafka
设计一个简易版的数据库路由
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2024-01-13 02:12
解决方案与实现思路
数据库
数据库路由
分库分表
Java最全八股文(2024最新整理)
包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、
Kafka
面试专题需要全套资料及答案的在
程序一逸
·
2024-01-13 01:07
java
开发语言
面试
后端
jvm
Spring
MySQL
ClickHouse(21)ClickHouse集成
Kafka
表引擎详细解析
文章目录
Kafka
表集成引擎配置Kerberos支持虚拟列资料分享参考文章
Kafka
表集成引擎此引擎与Apache
Kafka
结合使用。
Kafka
特性:发布或者订阅数据流。容错存储机制。处理流数据。
张飞的猪大数据
·
2024-01-13 01:39
ClickHouse入门与实战
clickhouse
kafka
大数据
数据库
数据仓库
etl
MacBook Pro M1搭建
Kafka
2.7版本源码运行环境
原创/朱季谦最近在阅读
Kafka
的源码,想可以在阅读过程当中,在代码写一些注释,便决定将源码部署到本地运行。
朱季谦
·
2024-01-12 23:27
Kafka
kafka
RabbitMq安装教程(超详细) 与使用
消息队列中间件简介消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性[架构]使用较多的消息队列有ActiveMQ(安全),RabbitMQ,ZeroMQ,
Kafka
qq_22905801
·
2024-01-12 21:14
rabbitmq
java-rabbitmq
rabbitmq
java
从 AutoMQ
Kafka
导出数据到 Databend
本文将介绍如何通过bend-ingest-
kafka
将数据从AutoMQfor
Kafka
导入Databend。本文中提及的AutoMQ
Kafka
术
Databend
·
2024-01-12 20:44
开源
数据库
Linux学习笔记——ZooKeeper集群安装部署
除了为Hadoop和HBase提供协调服务外,ZooKeeper也被其它许多软件采用作为其分布式状态一致性的依赖,比如
Kafka
,又或者一些
kxttmx
·
2024-01-12 18:16
linux
学习
zookeeper
Windows安装和使用
kafka
一、安装
kafka
由于
kafka
依赖jdk和zookeeper,安装
kafka
之前需要先安装jdk和zookeeper,也可以使用
kafka
自带的zookeeper。
倚-天-照-海
·
2024-01-12 18:44
kafka
kafka
分布式
Zookeeper安装与部署
由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性,被广泛地应用于诸如Hadoop、HBase、
Kafka
和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98
·
2024-01-12 18:12
经验贴
zookeeper
分布式
2. Presto应用
漏斗测试1、Presto安装使用参考官方文档:https://prestodb.io/docs/current/Presto是一个高效的查询分析引擎,支持多种数据源,例如(Hive、MySQL、MD、
Kafka
helloooi
·
2024-01-12 18:04
#
Presto
sql
数据库
大数据
kafka
下载安装部署
Apache
kafka
是一个分布式的基于push-subscribe的消息系统,它具备快速、可扩展、可持久化的特点。
倚-天-照-海
·
2024-01-12 15:25
kafka
kafka
分布式
kafka
topic分区数设定
创建一个1副本1分区的topic
kafka
-topics.sh--create--topictest--bootstrap-serverlocalhost:9092--partitions1--replication-factor1
qzWsong
·
2024-01-12 15:54
kafka
kafka
分布式
认识
kafka
认识
KafKa
1.什么是
KafKa
:
kafka
是一种高吞吐量的分布式发布订阅消息消息队列,有如下特性:可扩展性:
Kafka
可以处理大规模的数据流,并支持高并发的生产和消费操作。
KH.
·
2024-01-12 15:24
kafka
分布式
一篇文章就足够解决大数据实时面试
大数据实习面试题详解··bysuki
Kafka
参数调优的注意事项监控和了解系统瓶颈:在调优之前,首先要监控和了解系统的瓶颈。
cjpp老白
·
2024-01-12 15:45
大数据
面试
clickhouse
Flink
Kafka
【前端系列】Element-UI 悟道
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-12 14:42
s11
前端
前端
ui
Kafka
在车联网中应用浅谈
实时数据流处理:
Kafka
可以作为车联网中实时数据流处理的平台,通过订阅和发布消息,实现车辆与云端、车辆与车辆之间的实时通信。
MarkHD
·
2024-01-12 14:06
汽车
【算法Hot100系列】外观数列
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-12 13:22
s6
算法与数据结构
算法
Laravel使用
Kafka
实践教程(从安装到使用0-1)
一、Linux安装
Kafka
首先Linux服务器需要安装好
Kafka
,这里不再具体细说,可以看我前面的文章:Linux搭建
Kafka
详细一步一步指南(linux启动
kafka
脚本)-CSDN博客二、Laravel
雾里看花_
·
2024-01-12 11:15
laravel
laravel
kafka
php
java编写flink连接
kafka
常见问题总结
文章目录控制台输出问题没有执行计划问题不能执行sql问题动态表转为动态流问题控制台输出问题问题描述代码运行一会就结束,没有错误提示,也没有运行结果解决方法两种情况第一种日志没配好添加依赖org.apache.logging.log4jlog4j-slf4j-impl${log4j.version}org.apache.logging.log4jlog4j-api${log4j.version}or
一只小呆呆
·
2024-01-12 10:44
Hadoop
flink
java
Java开发自学教程!java从入门到精通txt下载
Kafka
是一个开源的分布式事件流处理平台,也是Apache软件基金会下五个最活跃的项目之一。
数据库面试题
·
2024-01-12 09:04
程序员
面试
经验分享
java
2024.1.11
Kafka
消息队列,shell命令,核心原理
目录一.消息队列二.
Kafka
三.启动命令四.
Kafka
的Shell命令五.
Kafka
的核心原理1.Topic的分区和副本机制2.消息存储机制和查询机制3.
Kafka
中生产者数据分发策略六.
Kafka
之所以具有高速的读写性能
白白的wj
·
2024-01-12 07:12
kafka
分布式
spark
python
大数据
hadoop
kafka
除了作为消息队列还能做什么?
Kafka
最初是为大规模处理日志而构建的。它可以保留消息直到过期,并让各个消费者按照自己的节奏提取消息。与其之前的竞品不同,
Kafka
不仅仅是一个消息队列,它还是一个适用于各种情况的开源事件流平台。
豆奶快攻
·
2024-01-12 07:13
消息队列
Kafka
分布式
kafka
分布式
Kafka
的简介及架构
目录消息队列产生背景消息队列介绍常见的消息队列产品应用场景消息队列的消息模型
Kafka
的基本介绍简介
Kafka
的架构
Kafka
的使用
Kafka
的shell命令
Kafka
的PythonAPI的操作完成生产者代码完成消费者代码消息队列产生背景消息队列
Sisi525693
·
2024-01-12 06:16
kafka
架构
分布式
Zookeeper+Hadoop+Spark+Flink+
Kafka
+Hbase+Hive
说明Zookeeper+Hadoop+Spark+Flink+
Kafka
+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223
·
2024-01-12 06:08
hadoop
zookeeper
spark
Kafka
Stream 流式计算
1实时流式计算1.1概念一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去做计算。同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高,同时一般是先定义目标计算,然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率,往往尽可能采用增量计算代替全量计算。流式计算就相当于上图的右侧扶梯,是
黑暗对我避而远之
·
2024-01-12 06:07
java
linq
c#
Kafka
快速入门
Kafka
是一个分布式流处理平台,最初由LinkedIn开发,并于2011年开源。它被设计用于构建高性能、可扩展的实时数据流应用程序。
黑暗对我避而远之
·
2024-01-12 06:36
java
kafka
分布式
java
后端
springboot 集成
kafka
1.SpringBoot快速集成Kafak_springboot集成kafaka-CSDN博客2.
kafka
启动:Windows系统下快速启动
Kafka
_windows启动
kafka
-CSDN博客3.
hailang86
·
2024-01-12 04:01
spring
boot
kafka
后端
Kafka
服务端之网络模型
[TOC]在开始介绍
Kafka
服务端的代码之前,先从整体上对其架构了解一下。
Kafka
Server的架构如图4-1所示。
tracy_668
·
2024-01-12 03:42
分布式消息
Kafka
Kafka
是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?
kuntoria
·
2024-01-12 01:15
数据同步工具chunjun(flinkx)-1.12.7 使用tips
并且记录与官网描述不符的地方,以减少学习成本1、在编写json的时候推荐使用在线json编辑器:2、类似MySQLMySQL这种需要编写带jdbcUrl的任务,注意reader和writer中jdbcUrl类型不一致3、以
kafka
省略号的搬运工
·
2024-01-12 01:36
json
大数据
数据库
kafka
kafka
查看Topic列表及消费状态等常用命令
本文中的操作均基于
kafka
_1.3.3.0,且所有命令经过实际验证。2|0常用工具新建Topic.
码农九珍
·
2024-01-12 00:45
程序员
Java
spring
java
Kafka
- Topic 消费状态常用命令
/
kafka
-topics--zookeeper166.188.xx.xx--create--topicflink_source--partitions1--replication-factor1replication-factor
放羊的牧码
·
2024-01-12 00:13
#
MQ
kafka
分布式
topic
group
消费者
生产者
列表
消息队列之推还是拉,RocketMQ 和
Kafka
是如何做的?
今天我们就来谈谈推拉模式,并且再来看看RocketMQ和
Kafka
是如何做的。推拉模式首先明确一下推拉模式到底是在讨论消息队列的哪一个步骤,一般而言我们在
yes的练级攻略
·
2024-01-12 00:55
1.
kafka
是什么
如果说谁最有资格定义
kafka
是什么,那么肯定是官方文档:Apache
Kafka
®isadistributedstreamingplatform.官方还对流平台进行了定义--流平台有三大关键能力(Astreamingplatformhasthreekeycapabilities
阿飞的博客
·
2024-01-12 00:47
Flink 源码之
Kafka
Source
针对这个新架构,Flink社区新推出了新的
Kafka
connector-
Kafka
Source。老版本的实现
AlienPaul
·
2024-01-11 21:53
RabbitMQ入门到实战——基础篇
调用链超长,可改成异步MQ技术对比
kafka
日志收集RabbitMQ整体架构快速入门交换机只负责路由消息,没有消息保存能⼒发信息前,queue需要binding绑定交换机数据隔离给每个项目创建自己的用户
伏尔加河的卷毛
·
2024-01-11 21:37
中间件
rabbitmq
分布式
常见5种消息队列介绍及入门教程ActiveMQ、
kafka
、RabbitMQ等
消息队列是分布式应用间交换信息的重要组件,消息队列可驻留在内存或磁盘上,队列可以存储消息直到它们被应用程序读走。通过消息队列,应用程序可以在不知道彼此位置的情况下独立处理消息,或者在处理消息前不需要等待接收此消息。所以消息队列可以解决应用解耦、异步消息、流量削锋等问题,是实现高性能、高可用、可伸缩和最终一致性架构中不可以或缺的一环。现在比较常见的消息队列产品主要有ActiveMQ、RabbitMQ
程序员面试吧
·
2024-01-11 21:37
rabbitmq
kafka
java
Kafka
除了用作消息队列还能干吗?
Kafka
除了用作消息队列还能干吗?本文转自公众号ByteByteGo,如有侵权,请联系,立即删除
Kafka
最初是为大规模处理日志而构建的。
xwhking
·
2024-01-11 19:55
ByteByteGo转载
kafka
分布式
KAFKA
高级应用
kafka
高级应用一些
kafka
的基础使用以及说明请参考上一篇文章
kafka
的基础入门。这篇文章主要是写
kafka
的一些高级特性、存储结构以及原理。
竺竺牧牧
·
2024-01-11 18:11
kafka
分布式
java
KAFKA
基本使用
Kafka
基础入门1.
kafka
定义
kafka
以前的定义是一个分布式的基于发布订阅的消息队列,现在的
kafka
的定义已经是一个分布式的流处理平台,用于数据通道处理,数据流分析,数据集成等现在消息队列只是
竺竺牧牧
·
2024-01-11 18:10
java基础
kafka
java
分布式
Kafka
集群部署 (KRaft模式集群)
KRaft模式是
Kafka
在3.0版本中引入的新模式。KRaft模式使用了Raft共识算法来管理
Kafka
集群元数据。Raft算法是一种分布式共识算法,具有高可用性、可扩展性和安全性等优势。
野猪佩挤
·
2024-01-11 17:02
Kubernetes
存储
k8s
kafka
分布式
《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2024-01-11 16:21
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
【算法Hot100系列】解数独
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-11 15:55
s6
算法与数据结构
算法
Linux搭建
Kafka
详细一步一步指南(linux启动
kafka
脚本)
一、下载到
kafka
的官网,去下载想用的
kafka
包:http://
kafka
.apache.org/downloads我这里下载的是:
kafka
_2.12-3.4.1.tgz再将安装包传送到服务器并解压
雾里看花_
·
2024-01-11 15:48
Linux
linux
kafka
运维
Laravel 使用rd
kafka
_laravel详细教程(实操避坑)
一、选择rd
kafka
首先要看版本兼容问题,我的是Laravel5.6,PHP是7.3.13,所以需要下载兼容此的rd
kafka
,去Packagist搜索
kafka
,我用的是Packagist选择里面0.10.5
雾里看花_
·
2024-01-11 14:07
laravel
laravel
php
kafka
【MQTT】MQTT协议与指令下发;MQTT与
Kafka
比较
LastWillandTestament(遗嘱消息):6.适用场景和优势:7.消息格式:8.安全性:9.开源实现和协议版本:二、指令下发指令下发流程三、使用MQTT实现指令下发具体步骤代码案例四、MQTT数据和数据库数据五、MQTT和
Kafka
嘚嘚嘚嘚嘚嘚哒
·
2024-01-11 14:35
kafka
分布式
数据库
信息与通信
中间件
【
Kafka
每日一问】
Kafka
重平衡逻辑是什么样的?
在
Kafka
中,消费者重平衡(ConsumerRebalance)是指消费者加入或退出消费者组时,以及消费者组内的消费者发生宕机、重启等异常情况时,通过重新分配分区(Partition)来实现消费者负载均衡的过程
jianjun_fei
·
2024-01-11 14:03
Kafka每日一问
kafka
分布式
分布式消息服务
kafka
分布式消息队列DMS什么是消息中间件?消息中间件是分布式系统中重要的组件,本质就是一个具有接收消息、存储消息、分发消息的队列,应用程序通过读写队列消息来通信。例如:在淘宝购物时,订单系统处理完订单后,把订单消息发送到消息中间件中,由消息中间件将订单消息分发到下游子系统(如物流、积分、通知等),订单系统和下游子系统通过消息中间件进行通信,减少他们之间的耦合,增加系统稳定性。主流的消息中间件有哪些?类
单某人是猪
·
2024-01-11 14:31
华为云
分布式
kafka
Spring原理-7.切点与切面
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2024-01-11 13:09
Spring
spring
java
Apache Flink 和 Paimon 在自如数据集成场景中的使用
业务背景自如目前线上有基于Hive的离线数仓和基于Flink、
Kafka
的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了Iceberg、Hudi、Paimon后,最终选择
Apache Flink
·
2024-01-11 13:09
apache
flink
大数据
上一页
20
21
22
23
24
25
26
27
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他