E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka每日一问
kafka
+zk三台集群问题排查
问题描述:项目中人大金仓同步工具同步数据增量到
kafka
集群,无法自动创建topic,以及出现同步到topic时连接失败的问题,经过排查修改配置参数最终解决。
未竟
·
2025-03-07 23:44
大数据组件
消息队列
kafka
zookeeper
big
data
kafka
+zk docker环境搭建
文章目录背景docker-compose安装构建docker-compose配置文件
Kafka
命令行测试消息的生产和消费使用
Kafka
自带工具执行压测背景本篇主要记录一下使用docker搭建
kafka
+
wtopps
·
2025-03-07 23:13
Linux
kafka
docker
kafka搭建
kafka
zk搭建
分分钟搞定分布式技术专题面试——Nginx+ZK+ActiveMQ+
Kafka
+RabbitMQ+MongoDB+Redis!
前些日子听很多朋友说面试跪在分布式,所以今天特地来总结一波分布式技术专题面试,限流、通讯、缓存:01分布式限流:Nginx+ZooKeeper1.1分布式限流之Nginx请解释一下什么是Nginx?请列举xNginx的一些特性。请列举xNginx和和Apache之间的不同点请解释xNginx如何处理PHTTP请求。在xNginx中,如何使用未定义的服务器名称来阻止处理请求?使用“反向代理服务器”请
独孤球球
·
2025-03-07 23:43
java
开发语言
Canal+MySQL+
Kafka
+Zookeeper
配置主要配置文件(1)conf/canal.properties(2)conf/example/instance.propertiesⅢ、开启canal二、MySQLⅠ、搭建与基础使用Ⅱ、开启二进制日志三、
Kafka
正大光明瑞士卷
·
2025-03-07 22:06
mysql
kafka
java-zookeeper
kafka
在Linux上的安装部署
一、前言
Kafka
是一个分布式流处理平台,在大数据领域有着广泛的应用。在Linux系统上安装部署
Kafka
可以为我们搭建高效的数据处理环境。本教程将详细介绍在Linux中安装和部署
Kafka
的步骤。
The博宇
·
2025-03-07 22:35
软件安装
linux
kafka
运维
Linux系统上安装
kafka
目录1.安装Java环境2.下载和解压
Kafka
3.配置
Kafka
4.启动ZooKeeper和
Kafka
5.测试
Kafka
6.停止服务7.常见问题1.安装Java环境
Kafka
依赖Java运行环境(JDK8
auspicious航
·
2025-03-07 21:57
大数据相关学习资料
linux
kafka
运维
KubeBlocks
它提供了通用的API和命令行工具kbcli,支持MySQL、PostgreSQL、MongoDB、Redis、
Kafka
等多种数据库引擎。
喝醉酒的小白
·
2025-03-07 20:49
K8s
学习
Doris 数据集成
Kafka
Doris数据集成
Kafka
这是我们Doris数据集成篇的第二篇,前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了,目前使用下来感觉还是很方便的
不二人生
·
2025-03-07 16:29
Doris
实战
doris
数据仓库
Spring Boot——消息队列集成RabbitMQ详细步骤大全
SpringBoot提供了与多种消息队列系统集成的支持,其中最常见的是集成RabbitMQ或
Kafka
。
程序员阿皓
·
2025-03-07 02:56
SpringBoot
java-rabbitmq
spring
boot
rabbitmq
【中国首个AI原生IDE:字节跳动发布AI编程工具Trae,开启智能编程新时代】
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2025-03-06 20:55
s2
AIGC
AI-native
ide
AI编程
解决
kafka
3.0.0在windows下不能启动的问题
看到一个问题,说在用java代码发送
kafka
消息的时候能指定一个partition参数:importorg.apache.
kafka
.clients.producer.ProducerRecord;publicclass
Kafka
ProducerExample
raiseup2
·
2025-03-06 17:28
practice
windows
kafka
java
后端
开发语言
Flume-HBase-
Kafka
Flume-HBase-
Kafka
一、各自介绍1.Flume简介和特征2.HBase简介和特征3.
Kafka
简介和特征二、通过Flume读取日志文件写入到
Kafka
中在写入HBase各自作用一、各自介绍
正在緩沖҉99%
·
2025-03-06 13:51
kafka
Flume
HBase
大数据
大数据环境(单机版) Flume传输数据到
Kafka
文章目录前言一、准备二、安装三、配置环境变量四、修改配置4.1、
kafka
配置4.2、Flume配置五、启动程序5.1、启动zk5.2、启动
kafka
5.3、启动flume六、测试6.1、启动一个
kafka
凡许真
·
2025-03-06 11:44
大数据
flume
kafka
数据采集
为什么使用 RocketMQ?
RocketMQ与其他主流消息队列(如
Kafka
、RabbitMQ、ActiveMQ)的优缺点对比如下:一、RocketMQ的核心优势高吞吐与低延迟吞吐量:单机可达10万级消息/秒,介于
Kafka
(29
·
2025-03-06 01:34
rocketmq消息中间件
Redis面试——redis基础、5种数据类型、持久化、主从模式、哨兵
1.纯内存操作:读取不需要进行磁盘I/O,所以比传统数据库要快上不少;(但不要有误区说磁盘就一定慢,例如
Kafka
就是使用磁盘顺序读取但仍然较快)2.单线程,无锁竞争:这保证了没有线程的上下文切换,不会因为多线程的一些操作而降低性能
丢丢diu丢
·
2025-03-05 18:29
Redis面试
分布式
数据库
基于 Flink CDC YAML 的 MySQL 到
Kafka
流式数据集成
这篇教程将展示如何基于FlinkCDCYAML快速构建MySQL到
Kafka
的流式数据集成作业,包含整库同步、表结构变更同步的演示和特色功能的介绍。
·
2025-03-05 16:47
flink大数据实时计算
kafka
-4:常见面试题
4.1如何提升生产者的吞吐量?1)buffer.memory:设置发送消息的缓冲区,默认值是33554432,就是32MB如果发送消息出去的速度小于写入消息进去的速度,就会导致缓冲区写满,此时生产消息就会阻塞住,所以说这里就应该多做一些压测,尽可能保证说这块缓冲区不会被写满导致生产行为被阻塞住LongstartTime=System.currentTime();producer.send(reco
小技工丨
·
2025-03-05 11:50
大数据技术学习
kafka
分布式
大数据
Kafka
主题 retention.ms 配置修改及深度问题排查指南
文章目录
Kafka
主题retention.ms配置修改及深度问题排查指南版本背景查看
Kafka
主题当前状态修改retention.ms配置的正确方式为什么不能使用
kafka
-topics.sh?
XMYX-0
·
2025-03-04 23:45
kafka
分布式
37.索引生命周期管理—kibana 索引配置
37.1背景引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化如通过sparkstreaming读取
Kafka
中的日志实时写入es,这些日志高峰期每天10亿+,每分钟接近100w
大勇任卷舒
·
2025-03-04 23:42
ELK
elasticsearch
大数据
big
data
初学者如何用 Python 写第一个爬虫?
博客内容包括:Java核心技术与微服务:涵盖Java基础、JVM、并发编程、Redis、
Kafka
、Spring等,帮助您全面掌握企业级开发技术。
ADFVBM
·
2025-03-04 16:19
面试
学习路线
阿里巴巴
python
爬虫
开发语言
kafka
入门基础
1.Java安装1.1下载https://download.oracle.com/java/18/archive/jdk-18.0.2.1_linu...1.2安装tarzxvfjdk-18.0.2.1_linux-x64_bin.tar.gz-C/usr/local/share/#vim/etc/profile//添加以下内容#ThejavaenvirmentJAVA_HOME=/usr/loc
·
2025-03-04 02:42
kafka
Kafka
迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案
编辑导读:AutoMQ是一款与Apache
Kafka
100%完全兼容的新一代
Kafka
,可以做到至多10倍的成本降低和极速的弹性。
·
2025-03-03 17:20
后端java
英伟达DeepStream学习笔记30——
kafka
和AMQP的区别
作为消息队列来说,企业中选择mq的还是多数,因为像Rabbit,Rocket等mq中间件都属于很成熟的产品,性能一般但可靠性较强,而
kafka
原本设计的初衷是日志统计分析,现在基于大数据的背景下也可以做运营数据的分析统计
翟羽嚄
·
2025-03-03 08:15
英伟达TX2
/Xavier
/deepstream开发
kafka
学习
rabbitmq
部署Wordpress(LNMP)+ELK
192.168.100.100Nginx-1.18、Filebeatnode100192.168.100.101PHP-5.6.27node101192.168.100.102MySQL5.7node102192.168.100.103
Kafka
kafka
103192.168.100.104
Kafka
node104192.168.100.105
Kafka
nod
多练项目
·
2025-03-03 07:32
Linux
系统架构
linux
elk
运维
Kafka
为什么会消息堆积?
Kafka
定期清理Partition,但消息堆积(backlog)依然可能发生,主要是因为
Kafka
的清理机制和消息消费进度是两回事。我们可以用一个快递仓库的类比来解释。
忍者算法
·
2025-03-02 23:00
kafka
分布式
Pulsar 学习目录
当时的其他消息系统(包括
Kafka
),都不能满足Yahoo的需求,比如大集群多租户、稳定可靠的IO服务质量、百万级Topic、跨地域复制等,因此Pulsar应运而生。
编码的三叔
·
2025-03-02 20:39
pulsar
java
kafka
大数据
python
Rabbit MQ 高频面试题【刷题系列】
二、
Kafka
、ActiveMQ、RabbitMQ、RocketMQ有什么优缺点?三、解耦、异步、削峰是什么?四、消息队列有什么缺点?五、RabbitMQ一般用在什么场景?
Microi风闲
·
2025-03-02 15:22
【面试宝典】ASP.NET
Core
rabbitmq
面试
【赵渝强老师】
Kafka
的消费者与消费者组
消费者就是从
Kafka
集群消费数据的客户端,下图展示了一个消费者从主题中消费数据的模型。上图展示的是单消费者模型。单消费者模型存在一些问题。
·
2025-03-02 13:17
大数据kafka
GBase 8a从
Kafka
的Topic加载数据使用样例
GBase8a支持从
Kafka
加载数据,本文介绍该功能的使用方式并提供样例。GBase8a当前支持单次加载,以及以类似定时任务的形式自动加载。
老紫竹
·
2025-03-02 00:21
数据库
《
Kafka
理解: Broker、Topic 和 Partition》
Kafka
核心架构解析:从概念到实践
Kafka
是一个分布式流处理平台,广泛应用于日志收集、实时数据分析和事件驱动架构。
频繁输入,积极输出
·
2025-03-01 23:48
kafka
分布式
Kafka
系列之:记录一次源头数据库刷数据,造成数据丢失的原因
Kafka
系列之:记录一次源头数据库刷数据,造成数据丢失的原因一、背景二、查看topic日志信息三、结论四、解决方法一、背景源头数据库在很短的时间内刷了大量的数据,部分数据在hdfs丢失了理论上debezium
快乐骑行^_^
·
2025-03-01 18:12
Kafka
Kafka系列
记录一次源头数据库刷数据
造成数据丢失的原因
【六祎 - Note】消息队列的演变,架构图;备忘录; IBM MQ,RabbitMQ,
Kafka
,Pulsar
RabbitMQ架构与IBMMQ不同,更类似于
Kafka
的概念。生产者向指定交换类型的交换发布消息。它可以是直接、主题或扇出。然后,交换中心根据不同的消息属性和交换类型将消息路由到队列中。
鞠崽23333
·
2025-03-01 08:02
消息中间件
rabbitmq
kafka
分布式
消息队列之 RabbitMQ基本流程
市面上的消息队列产品有很多,比如老牌的ActiveMQ、RabbitMQ,目前我看最火的
Kafka
,还有ZeroMQ,去年底阿里巴巴捐赠给Apache的RocketMQ,连redis这样的NoSQL数据库也支持
搬砖养女人
·
2025-03-01 08:31
数据库架构
java
spring
tomcat
sql
Quickwit获取
Kafka
数据源消息
创建索引后,可以使用CLI命令quickwitsourcecreate添加源,支持的源有:file、
kafka
、kinesis、pulsar。
不会飞的小龙人
·
2025-03-01 03:19
开源项目
kafka
quickwit
java
docker
容器
kafka
-leader -1问题解决
一.问题:在
Kafka
中,leader-1通常表示分区的领导者副本尚未被选举出来,或者在获取领导者信息时出现了问题。
xiao-xiang
·
2025-03-01 03:17
kafka
kafka
阿里架构师推荐的消息中间件万字文档:RocketMQ+RabbitMQ+
KafKa
RocketMQ思路起源于
Kafka
,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景市面上真正适合学习的RocketMQ
xiaohao718
·
2025-02-28 14:53
kafka
java-rabbitmq
rabbitmq
kafka
stream对比flink
Kafka
Streams和ApacheFlink虽然都支持实时计算,但它们的定位、架构和适用场景存在显著差异。选择哪一个取决于具体的需求、场景和技术栈。
后季暖
·
2025-02-28 14:23
kafka
flink
分布式
001
Kafka
入门及安装
Kafka
入门及安装文章目录
Kafka
入门及安装1.介绍
Kafka
的基本概念和核心组件2.安装1.docker快速安装zookeeper安装
kafka
安装添加topic删除topic
kafka
-ui安装
陌殇殇
·
2025-02-28 14:23
#
Kafka
中间件
kafka
java
中间件
基于docker-compose部署
kafka
、SASL模式【密码校验模式】
基础部署组件Zookeeper注册中心
Kafka
消息中心
Kafka
-ui可视化web界面创建目录#进入到主目录cd/usr/localhost#创建docker文件夹mkdirdocker#进入docker
Ya.mo
·
2025-02-28 14:22
docker
kafka
容器
【
kafka
】
Kafka
leader -1
文章目录1.概述2.问题现象3.解决方案4.题外话5.威胁案例6.正解1.概述转载:https://blog.csdn.net/u013933879/article/details/90055546参考:
Kafka
九师兄
·
2025-02-28 14:50
kafka
leader
-1
isr
none
Leader总是-1,怎么解决?
重启Controller节点上的
Kafka
进程,让其他节点重新注册Controller角色,但是如上面ZooKeeper的作用你要知道为什么Controller可以自动注册。
jasen91
·
2025-02-28 14:19
kafka
大数据
消息队列概要讲解(下)
本文不会过多的扩展详细的消息队列系统,如RocketMQ、RabbitMQ、
Kafka
等,这些会在后续系列文章中详细介绍。
Good Note
·
2025-02-28 14:49
消息队列
golang
服务器
数据库
开发语言
MQ
消息队列
面试
kafka
-web管理工具cmak
一.背景:日常运维工作中,采用cli的方式进行
kafka
集群的管理,还是比较繁琐的(指令复杂?)。为方便管理,可以选择一些开源的webui工具。推荐使用cmak。
xiao-xiang
·
2025-02-28 14:49
kafka
kafka
分布式
docker-compose创建
kafka
支持SASL_PLAINTEXT
#1mkdirconfmkdirconf#2createfilezoo.cfgcat>conf/zoo.cfgconf/server_jaas.conf.envdocker-compose.yml<<-"EOF"name:"P1"version:"3"networks:net:driver:bridgeservices:zookeeper_sasl:image:wurstmeister/zooke
dipherxu
·
2025-02-28 14:49
docker
kafka
容器
最全docker-compose部署
kafka
、SASL模式(密码校验模式)_system
Client{org.apache.zookeeper.server.auth.DigestLoginModulerequiredusername="admin"password="123456";};Server{org.apache.zookeeper.server.auth.DigestLoginModulerequiredusername="admin"password="123456"u
2401_84182428
·
2025-02-28 14:17
程序员
docker
kafka
容器
消息队列(RocketMQ+
Kafka
)
基础什么是消息队列:具备生产者,消费者,消息队列的场景应用场景:异步(电商订单的创建、支付、发货流程)解耦削峰填谷(淘宝的双十一)需解决的问题:消息重复(唯一ID,幂等)消息丢失(ack确认机制,死信队列)消息堆积(增加消费者,增加消费能力,增加集群分担)高可用(集群,主从,多副本)高性能(集群,分区,多机部署,负载均衡)RocketMQ整体架构视频:小白debug的视频面试题:CSDN上找的一篇
八千里路云和月laiker
·
2025-02-28 14:16
算法
rocketmq
kafka
分布式
(七)消息队列-
Kafka
序列化avro(传递)
(七)消息队列-
Kafka
序列化avro(传递)客从远方来,遗我双鲤鱼。呼儿烹鲤鱼,中有尺素书。
平凡君
·
2025-02-28 12:03
消息队列
kafka
linq
分布式
kafka
-关于ISR-概述
Kafka
中通常每个分区都有多个副本,其中一个副本被选举为Leader,其他副本为Follower。ISR是指与Leader副本保持同步的Follower副本集合。
xiao-xiang
·
2025-02-28 11:58
kafka
分布式
Python—
kafka
操作
文档结构1、概念简介2、环境搭建3、操作实践1、概念简介2、环境搭建接口手册:https://
kafka
-python.readthedocs.io/en/master/Python操作
kafka
的模块为
蓝魔Y
·
2025-02-28 07:49
Python编程
kafka
python使用
kafka
原理详解_Python操作
Kafka
原理及使用详解
Python操作
Kafka
原理及使用详解一、什么是
Kafka
Kafka
是一个分布式流处理系统,流处理系统使它可以像消息队列一样publish或者subscribe消息,分布式提供了容错性,并发处理消息的机制二
形象顧問Aking
·
2025-02-28 07:19
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他