E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafk
消息中间件:Kafka消息丢失与堆积问题分析与解决方案
文章目录消息中间件:Kafka消息丢失与堆积问题分析与解决方案一、概述二、
Kafk
upgrador
·
2024-08-24 02:02
#
消息中间件
kafka
分布式
Apache Kafka的伸缩性探究:实现高性能、弹性扩展的关键
一、Kafka伸缩性的核心设计分区(Partitioning)与水平扩展
Kafk
i289292951
·
2024-03-28 23:28
kafka
kafka
kafka基本概念
同时Kafka又提供了
Kafk
L.S.V.
·
2024-02-11 12:38
kafka
java
Kafka&Kafka manager本地搭建
usr/local/etc/kafka/zookeeper.properties&kafka-server-start/usr/local/etc/kafka/server.properties3、配置
kafk
hellokitty小丸子
·
2024-02-11 10:57
【Kafka】 存储机制
Kafk
Ethan-running
·
2024-02-02 12:56
#
kafka
kafka
分布式
消息中间件
利用 Cloudera Manager下安装kafka
不是基于parcel包离线安装一、基于CDH版本选择安装1.1基于CDH版本选择安装登录CM控制台,选择“AddService"选择需要安装的
Kafk
914 JJ
·
2024-02-01 13:28
KAFKA
kafka
大数据
cloudera
Kafka与RocketMQ性能对比大揭秘
1、文件布局1.1
Kafk
Java柱柱
·
2024-01-31 07:21
上传jar包到flink环境遇到的问题
例如:你的pom文件中只有flink-connector-
kafk
赵凡在
·
2024-01-30 16:50
flink
kafka summary
具体来说,在发送消息之前,生产者将消息数据保存在内存缓冲区中,然后将指向缓冲区的指针传递给
Kafk
会说话的皮卡丘
·
2024-01-27 09:22
kafka
分布式
kafka文件存储机制
无论是
kafk
allin8116
·
2024-01-26 04:42
Kafka框架详解
耐用性:
Kafk
坐在风口上de猪
·
2024-01-20 10:23
kafka
分布式
【SpringBoot框架篇】35.kafka环境搭建和收发消息
cd/usr/localwgethttps://dlcdn.apache.org/kafka/3.6.1/
kafk
皓亮君
·
2024-01-18 03:09
spring
boot
kafka
后端
Clickhouse引擎之kafka
kafka_2.13-3.2.0Clickhouse数据库执行:1、使用引擎创建一个kafka消费者CREATETABLElog_queue(logidString,messageString)ENGINE=
Kafk
pokefade
·
2024-01-16 05:15
kafka
clickhouse
java
Kafka教程
kafka-server-start.shconfig/server.properties1.2创建topic#创建topic(1个分区,1个副本)#--partitions:分区数#--replication-factor:副本数$bin/
kafk
242030
·
2024-01-10 02:19
kafka
kafka
MinIO创建bucket notificaion
minio-bucket-notification-guide.html1.preparethedocker-composefileversion:'3'services:kafka:image:wurstmeister/kafkacontainer_name:
kafk
雅阁驸马
·
2024-01-07 06:45
python elasticsearch查询_使用Python请求查询ElasticSearch
':'application/json','Content-type':'application/json'}elastic_url='https://localhost:9200/logstash-
kafk
馥郁恒久
·
2024-01-05 08:36
python
elasticsearch查询
Kafka学习笔记1(千峰教育)
Kafka学习笔记1(千峰教育)一、为什么使用消息队列1.使用同步的通信方式来解决多个服务之间的通信2.使用异步的通信方式二、消息队列的流派1.有broker2.无broker三、Kafka的基本知识1.
Kafk
2a
该叫啥
·
2023-12-29 07:55
kafka
kafka
学习
笔记
[Suricata]结果写入kafka
kafka的broker,topic,clientid(若有)等信息增加对kafka写出类型的识别主要修改output-json.c文件可以搜索LOGFILE_TYPE_REDIS关键字,仿照类似的方式增加对
Kafk
LzSkyline
·
2023-12-25 03:41
kafka-安装与简单使用-01
(即
Kafk
伍六七_ba5e
·
2023-12-25 02:27
60道KafKa高频题整理(附答案背诵版)
我会在以下场景下选择使用
Kafk
帅地
·
2023-12-19 04:17
kafka
分布式
消息队列zookeeper集群+kafka
分布式节点的服务结束观察者的注册,一旦分布式节点上的数据发生变化,由zookeeper来负责通知分布式节点上的服务kafka1+zookpeeper1Kafka+zookpeeper2
kafk
m0_52416577
·
2023-12-17 01:24
zookeeper
kafka
分布式
大数据基础设施搭建 - 业务数据同步策略
梳理需要增量同步的业务表2.2Maxwell:MySQLToKafka2.2.1首次全量同步2.2.2每日增量同步2.2.2.1编写Maxwell配置文件2.2.2.2启动Maxwell2.3Flume:
Kafk
m0_46218511
·
2023-12-03 16:42
大数据基础设施搭建
大数据
业务数据同步
Doris 数据导入三:Routine Load 方式
如果要使用
Kafk
shangjg3
·
2023-12-03 06:01
Doris
大数据
数据仓库
doris
sql
Flink-CDC 1.2 介绍及使用
CDC的种类CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:基于查询的CDC基于Binlog的CDC开源产品Sqoop、
Kafk
_大叔_
·
2023-12-03 06:45
Golang kafka简述和操作(sarama同步异步和消费组)
2.为什么选择
kafk
呆呆不呆丫
·
2023-12-03 02:45
Kafka 分布式消息系统
同步方式kafka生产者详解同步发送异步发送参数详解(ack)参数详解(retries)参数详解-消息压缩kafka消费者详解消费者组消息有序性提交和偏移量偏移量偏移量提交方式SpringBoot集成
kafk
sweetheart7-7
·
2023-11-30 12:01
分布式
kafka
消息中间件
高可用
SpringBoot集成
kafka2.5版本常用命令大全
replication-factor1--partitions1--topicsave-data查看主题列表kafka-topics.sh--list--zookeeper${host}:2181查看特定主题状态
kafk
李岱滨
·
2023-11-25 23:36
doris实现数据聚合的三种方式--多明细聚合、物化视图与rollup
insertintolog_exp_pvselectdshour,device_idfromdwd_kafka_log;insertintolog_exp_pvselectds'ALL'hour,device_idfromdwd_
kafk
Dylan ZhaoHT
·
2023-11-24 16:24
doris
数据仓库
flink
flink
数据仓库
jdk11新特性,是否有必要从JDK8切换到JDK11
1.完全支持Linux容器(包括docker)许多运行在Java虚拟机中的应用程序(包括ApacheSpark和
Kafk
程小明的coding
·
2023-11-24 09:30
docker
java
容器
分享一份京东大数据技术官私藏:Kafka核心设计与实践原理
目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与
Kafk
m0_64926671
·
2023-11-23 09:53
Java
kafka
big
data
java
Kafka 跨集群同步方案(转)
下图展示如何使用MirrorMaker工具创建从源Kafka集群(sourcecluster)到目标
Kafk
weixin_33966095
·
2023-11-21 18:13
大数据
java
操作系统
MacBook Linux安装Kafka
Kafk
beyond阿亮
·
2023-11-21 14:24
mq
kafka
zookeeper
macbook
linux
kafka集群搭建
最近一个项目一直在使用kafka和redis,因单节点已完成且运行良好,为了进一步巩固系统稳定性,所以需要更新为
kafk
快乐的木子李
·
2023-11-12 18:10
kafka
zookeeper
分布式
Linux 定时删除7天前的文件
的文件删除find/home/
kafk
SmallFatMan
·
2023-11-11 17:58
#
自动化部署&脚本
linux
运维
服务器
shell
bash
学习
Kafka入门
一、kafka简介及适用场景**
kafk
程序员曦曦
·
2023-11-08 21:43
软件测试工程师
软件测试
自动化测试
kafka
分布式
功能测试
软件测试
自动化测试
程序人生
职场和发展
Flink日志采集-ELK可视化实现
可能因为某个错误的问题,需要看好多个⽇志⽂件,还有FlinkonYarn模式提交Flink任务,在任务执行完毕或者任务报错后container会被回收从而导致日志丢失,为了方便排查问题可以把⽇志⽂件通过
Kafk
满床清梦覆星河
·
2023-11-04 17:29
Flink
ElasticSearch
flink
elk
大数据
Kafka设计原理详解: Controller选举、Partition副本选举Leader、消费者Rebalance分区分配、HE与LEO、日志分段存储、ZK节点数据
当使用
kafk
萧 炎
·
2023-11-03 02:13
#
kafka
big
data
zookeeper
kafka 常见命令以及增加topic的分区数
partitions${partipartions}--replication-factor${replication}2.查看topic详情kafka-topics.sh--bootstrap-server${
kafk
摩V羯座
·
2023-10-27 23:40
docker部署kafka并使用SpringBoot集成kafka
kafka部署kafka需要用到Zookeeper,所以先下载Zookeeper和kafka:dockerpullwurstmeister/zookeeperdockerpullwurstmeister/
kafk
橘子皮..
·
2023-10-25 22:15
linux
kafka
docker
SpringBoot使用Kafka生产者、消费者
value-serializer:org.springframework.kafka.support.serializer.JsonSerializerbootstrap-servers:192.168.20.75:9907
kafk
刘大猫.
·
2023-10-20 10:58
Kafka
kafka
spring
spring
boot
java
Kafka_2.10-0.10.0.0安装配置文档
apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz,执行tar-zxvfkafka_2.9.2-0.8.1.1.tgz2.配置
kafk
打怪的蚂蚁
·
2023-10-19 19:53
大数据环境
三十六、《大数据项目实战之用户行为分析》Spark Streaming整合Kafka计算实时单词数量
而从Spark2.3.0开始,对
Kafk
大数据张老师
·
2023-10-19 12:18
#
kafka
大数据
spark
SparkStreaming
kafka、zookeeper、flink测试环境、docker
官方并给出了zk迁移KR的文档2、使用docker启动单点kafka1、首先将kafka启动命令,存储为.service结尾的系统服务文件,并指定存储在/etc/systemd/system/目录下2、
kafk
.s
爱喝红酒
·
2023-10-18 18:48
Flink
SQL
kafka
Linux
kafka
zookeeper
flink
SpringBoot集成Kafka
SpringCloud,SpringBoot项目引用版本:2.5.22020.0.32021.1Kafka版本org.springframework.
kafk
Mynah886
·
2023-10-18 02:43
spring
boot
kafka
Debezium监控Oracle数据库遇到的坑
2.数字类型解析到
kafk
XAGU
·
2023-10-17 16:09
debezium
kafka
数据库
oracle
kafka
springboot:整合Kafka
partition、offset消费批量消费ConsumerAwareListenerErrorHandler异常处理器消息过滤器消息转发offset提交自动提交手动提交定时启动、停止监听器消费组别三、
kafk
yololee_
·
2023-10-17 15:52
springboot
kafka
kafka
spring
boot
java
springboot 与 kafka整合示例
此外,Kafka可以通过KafkaConnect连接到外部系统(用于数据输入/输出),并提供了
Kafk
wangjie1616
·
2023-10-17 15:50
spring
kafka
springboot
java
kafka
spring
boot
spring
【kafka】Kafka 可视化工具Kafka Eagle安装和使用
Kafk
Bogon
·
2023-10-17 11:56
canal rocketmq
使用队列,可以自己起一个单实例服务使用ClusterCanalConnector将消息丢队列里,也可以直接使用canalserver,canalserver原生支持几种队列:
Kafk
M_O_
·
2023-10-14 12:56
rocketmq
canal
kafka初体验基础认知部署
Kafk
消息系统由多个**broker(服务器)组成,这些broker可以在多个数据中心之间分布式部署,以提供高可用性和容错性
七层汉堡王
·
2023-10-06 18:16
kafka
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他