E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka源代码分析
shell脚本--
kafka
生产数据
直接上代码
kafka
参数修改成自己的配置。#!
手提青灯觅佳人
·
2024-01-27 08:52
大数据通用
shell
kafka
Kafka
zookeeper-shell.sh
bin/zookeeper-shell.sh作用是连接zookeeper,并通过命令查询注册的信息,本质上就是zookeeper的语法。bin/zookeeper-shell.shzookeeper_host:port[/path][args…]args参数类型如下statpath[watch]setpathdata[version]lspath[watch]delquota[-n|-b]path
云川之下
·
2024-01-27 08:18
kafka
kafka
【shell-10】shell实现的各种
kafka
脚本
kafka
-shell工具背景日志log一.启动
kafka
->(start-
kafka
)二.停止
kafka
->(stop-
kafka
)三.创建topic->(create-topic)四.删除topic
我先森
·
2024-01-27 08:41
shell
kafka
kafka
linq
分布式
Flink生产环境相关问题
1.Flink+
Kafka
保证精确一次消费相关问题?Fink的检查点和恢复机制和可以重置读位置的source连接器结合使用,比如
kafka
,可以保证应用程序不会丢失数据。
大数据左右手
·
2024-01-27 08:09
Flink
面试
flink
JVM系列-8.GC调优
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-27 08:06
JVM
jvm
java
开发语言
JVM系列-7内存调优
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-27 08:32
JVM
jvm
java
开发语言
0806-
Kafka
异地复制
Kafka
异地同步:Mirror-Maker(消费者+生产者)原理大概是启动consumer消费南京的topicmessage,发送到重庆的
kafka
集群。
红苹果_小米粒
·
2024-01-27 08:04
Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )
本文介绍的场景是:使用
Kafka
Connect的DebeziumMySQLSourc
Laurence
·
2024-01-27 06:54
大数据专题
付费专栏
flink
cdc
debezium
avro
confluent
schema-registry
kafka
37.Java连接
Kafka
37.1实验环境Intellij已安装且正常运行Maven环境正常RedHat7.2CM和CDH版本为5.11.2
Kafka
2.2.0-0.10.2创建topic,test3有3个replication
大勇任卷舒
·
2024-01-27 06:40
RocketMQ-同城双活-高可用架构-同程旅行
背景介绍为何选择RocketMQ我们在几年前决定引入MQ时,市场上已经有不少成熟的解决方案,比如RabbitMQ,ActiveMQ,NSQ,
Kafka
等。
无心六神通
·
2024-01-27 04:59
RocketMQ
rocketmq
架构
同城双活
高可用
【代码随想录-数组】二分查找
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-27 04:58
s6
算法与数据结构
java
Kafka
3.0源码学习
内存池3、sender线程发送数据二、消费者源码1、初始化2、消费者订阅主题3、消费者拉取和处理数据3.1消费总体流程3.2消费者/消费者组初始化3.3拉取数据3.4消费者Offset提交三、服务端源码
kafka
魅Lemon
·
2024-01-27 04:25
大数据
kafka
【代码随想录-数组】有序数组的平方
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-27 03:24
s6
算法与数据结构
java
实时分析海量新数据的难点 和解决方案
解决方案:使用分布式计算和存储技术,如Hadoop、Spark、
Kafka
等,将数据分散存储在多个节点上,同时进行分布式计算和处理,以实现数据的实时处理和分析。2.数据质量的保障:海量新
云台095
·
2024-01-27 03:40
大数据的应用
大数据
kafka
多线程消费及处理和手动提交处理方案设计
kafka
与其他消息队列不同的是,
kafka
的消费者状态由外部(消费者本身或者类似于Zookeeper之类的外部存储)进行维护,所以
kafka
的消费就更加灵活,但是也带来了很多的问题,因为客户端消费超时被判定挂掉而消费者重新分配分区
达微
·
2024-01-27 01:38
[MQ]常用的mq产品图形管理web界面或客户端
1.2MQ产品较为成熟的MQ产品:IBMMQ(IBMWebSphereMQ),ActiveMQ,RabbitMQ,
Kafka
,RocketMQ,ZeroMQ,MetaMQ等。
穿山甲yyds
·
2024-01-27 01:05
开发语言
中间件
Apache Pulsar——协议适配器
背景为了能平滑、不改写代码、无侵入地迁移应用使用pulsar,KoP以插件形式支持
Kafka
协议。
小波同学
·
2024-01-26 22:17
多云与混合云场景下的数据同步方案-
KAFKA
1企业业务系统部署架构的变化趋势-多云与混合云现阶段,企业信息系统部署架构(DA:Deployarchitecture)的一大变化是,越来越多的企业在不断将越来越多的应用部署到云上,即业务系统上云的趋势愈演愈烈。不过企业业务系统上云不是一蹴而就的,也不是单向的一帆风顺的。这里涉及到新开发的业务系统的主动上云(由于是采用云原生技术栈新开发的业务系统,其上云相对顺畅些),也包括历史遗留系统的迁移上云(
明哥的IT随笔
·
2024-01-26 21:29
分布式
kafka
java
storm
zookeeper
解密:消息中间件的选择与使用:打造高效通信枢纽
什么是消息中间件1.2消息中间件的作用1.3消息中间件的分类第二章:消息中间件的选择标准2.1性能2.2可靠性2.3可扩展性2.4易用性2.5社区支持2.6成本第三章:常见的消息中间件对比3.1Apache
Kafka
3.1.1
凛鼕将至
·
2024-01-26 20:59
java
开发语言
中间件
数据中台搭建之安装JDK,zookeeper,
kafka
1.背景接上篇博客搭建数据中台之安装mysql,在此基础上安装其他环境2.准备上传包到主节点上3.解压、安装、修改配置文件3.1解压JDKtar-xvfjdk-8u181-linux-x64.gz3.2移动到/usr/local/jdk目录下mv····/usr/local/jdk3.3解压zookeepertar-zxvfzookeeper-3.4.5.tar.gz3.4移动到/usr/loca
CayongL
·
2024-01-26 20:20
zookeeper
kafka
jdk1.8
ELK 8.8.1 +
Kafka
2.5.0 日志收集架构部署
ELK8.8.1+
Kafka
2.5.0日志收集架构部署服务版本节点角色分布服务兼容性JDK特殊性官方文档库系统优化部署ES集群1.下载ES源码包2.调整配置文件\$ES\_HOME/config/elasticsearch.yml3
JP.Hu
·
2024-01-26 19:01
ELK
elk
kafka
架构
Flink 基础入门
前言SparkStreaming准确来说算是一个微批处理伪实时的做法,可是Flink是真的来一条就会处理一条,而且在SparkStreaming和
Kafka
进行整合时我们需要手动去管理偏移量的问题,而在
IT领域君
·
2024-01-26 19:28
【Java程序员面试专栏 专业技能篇】
Kafka
核心面试指引
关于
Kafka
部分的核心知识进行一网打尽,包括
Kafka
的基本概念,基本架构,工作流程,存储机制,生产策略和消费策略,通过一篇文章串联面试重点,并且帮助加强日常基础知识的理解,全局思维导图如下所示基本概念从
存在morning
·
2024-01-26 18:50
Java
程序员面试专栏
java
面试
kafka
面试题-【消息队列】
消息队列问题1如何进行消息队列的技术选型优点解耦(pub/sub模型)异步(异步接口性能优化)削峰使用消息队列的缺点几种消息队列的特性问题2引入消息队列之后该如何保证其高可用性RabbitMQ的高可用
kafka
谷新龙001
·
2024-01-26 16:35
面试题
消息队列
active mq topic消费后删除_Spring cloud stream 整合mq
说明:本案例win10环境测试scs(springcloudstream)整合kfk(
kafka
)/rbt(rabbitmq)消息生产消费场景流程一、准备中间件环境(kfk/rbt)后续内容提供kfk与
weixin_39794340
·
2024-01-26 15:35
active
mq
topic消费后删除
mq消费者组
springboot整合es
SpringCloudStream整合MQ(待完善)
概念SpringCloudStream的主要目标是各种各样MQ的学习成本,提供一致性的编程模型,使得开发者能够更容易地集成消息组件(如Apache
Kafka
、RabbitMQ、RocketMQ)官网地址
kk_0910
·
2024-01-26 14:27
springcloud
IBM MQ和
kafka
区别
IBMMQ
Kafka
连接方式socket长连接socket长连接使用方式发布/订阅或者点对点Queue方式,QUEUE只能消费一次,可以用作socket通讯发布/订阅方式
智慧健康
·
2024-01-26 14:04
消息中间件
IBM
MQ
1024程序员节
Spring-
Kafka
3.0 消费者消费失败处理方案
一、背景我们作为
Kafka
在使用
Kafka
是,必然考虑消息消费失败的重试次数,重试后仍然失败如何处理,要么阻塞,要么丢弃,或者保存二、设置消费失败重试次数1默认重试次数在哪里看
Kafka
3.0版本默认失败重试次数为
风萧萧兮s
·
2024-01-26 14:33
Kafka
spring
kafka
java
SpringBoot 3.1.7 集成
Kafka
3.5.0
一、背景写这边篇文章的目的,是记录我在集成
kafka
客户端遇到的一些问题,文章会记录整个接入的过程,其中会遇到几个坑,如果需要最终版本,直接看最后一节就行了,感觉Spring-
Kafka
的文档太少了,如果采用
风萧萧兮s
·
2024-01-26 14:28
Spring
Cloud
spring
boot
kafka
MQ回顾之
kafka
速通
不定期更新官网概念自查官网:Apache
Kafka
kafka
结构和
kafka
相关的关键名词有:Producer、Broker、Topic、Partition、Replication、Message、Consumer
明天一定.
·
2024-01-26 14:28
mq
kafka
分布式
JVM实战(34)——内存溢出之消息队列处理不当
1.1系统背景这是一个线上的数据同步系统,专门从
Kafka
消费其它系统送进去的数据,处理后存储到自己的数据库中:就这么简单的一个系统,生产上却时不时报出OOM异常,然后就得重启系统。
smart哥
·
2024-01-26 14:25
jvm专题
jvm
JVM系列-6.java垃圾回收
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-26 14:23
JVM
jvm
java
开发语言
面试官问我如何保证
Kafka
不丢失消息?我哭了!
##
kafka
如何保证不丢消息ps:这篇文章自我感觉说的很大白话了!希望你们看过了之后能有收获。不了解
Kafka
的朋友建议先看一看我的下面这几篇文章,第一篇一定要看,其他的可以按需学习。1.[入门篇!
Guide哥
·
2024-01-26 13:36
Zookeeper集群 +
Kafka
集群
目录一、概述(一)Zookeeper概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点(1)组成(2)全局数据一致(3)更新请求顺序执行(4)数据更新原子性(5)实时性4.Zookeeper数据结构5.Zookeeper应用场景(1)统一命名服务(2)统一配置管理(3)统一集群管理(4)服务器动态上下线(5)软负载均衡6.Zookeeper选举机制(1)第一次启
江南字子川
·
2024-01-26 09:15
zookeeper
kafka
分布式
Flink问题解决及性能调优-【Flink不同并行度引起sink2es报错问题】
SETtable.exec.state.ttl=86400s;--24hour,默认:0msSETtable.exec.state.ttl=2592000s;--30days,默认:0msCREATETABLE
kafka
_table
PONY LEE
·
2024-01-26 08:12
Flink问题解决及性能调优
flink
大数据
16、
Kafka
------ SpringBoot 整合
Kafka
(配置
Kafka
属性 及对应的 属性处理类 解析)
目录配置
Kafka
及对应的属性处理类配置
Kafka
Kafka
配置属性的约定代码演示生产者相关的配置消费者相关的配置代码(配置文件)application.properties配置
Kafka
及对应的属性处理类配置
_L_J_H_
·
2024-01-26 07:17
Kafka
系列
kafka
spring
boot
分布式
常用MQ产品的对比
原文地址:RocketMQvs.ActiveMQvs.
Kafka
MessagingProdu
JavaNice哥
·
2024-01-26 06:52
java
java
Windows中Zookeeper与
kafka
的安装配置
一、Zookeeper安装与使用1.安装包下载直接在官网下载即可ApacheZooKeeper。下载后直接解压到本地即可。2.环境配置1>在目录中下增加data和log文件夹2>解压目录下的conf目录,将目录中的zoo_sample.cfg文件,复制一份,重命名为zoo.cfg(因为bin目录中的zkEnv配置文件中识别的配置文件名称即为zoo.cfg)3>在复制的zoo.cfg文件中将data
这个名字还中
·
2024-01-26 06:16
windows
zookeeper
kafka
15、
Kafka
------ SpringBoot 整合
Kafka
(自动配置类
Kafka
AutoConfiguration 源代码剖析)
目录SpringBoot整合
Kafka
的自动配置及源代码剖析SpringBoot为
Kafka
提供的自动配置
Kafka
AutoConfiguration
Kafka
自动配置类源码解析1、自动配置类:
Kafka
AutoConfiguration
_L_J_H_
·
2024-01-26 06:44
Kafka
系列
kafka
spring
boot
分布式
Kafka
3学习笔记
文章目录一、
Kafka
概述和入门1、
Kafka
概述1.1定义1.2消息队列1.3
Kafka
基础架构2、
Kafka
快速入门2.1安装部署2.2集群启停脚本3、
Kafka
命令行操作3.1Topic命令行操作
魅Lemon
·
2024-01-26 06:03
大数据
kafka
如何保证消息队列不丢失消息(以
kafka
为例)
目录一、引言二.持久化存储2.1持久化存储原理:2.2使用示例:1.安装
Kafka
:2.生产者代码:3.消费者代码:三.消息确认机制3.1消息确认机制原理:3.2使用示例:1.生产者代码:2.消费者代码
喔的 喔的嘛呀
·
2024-01-26 06:56
linq
c#
在linux、window环境搭建
kafka
环境
一、搭建环境前置准备下载
kafka
的官网http://
kafka
.apache.org/downloads根据自己的需求选择版本,安装包不区分linux和windows环境,这一个安装包均可部署。
Everybody_up
·
2024-01-26 06:25
linux
kafka
运维
kafka
生产者与消费者
文章目录一、pom.xml依赖包二、yml配置文件三、消费者四、生产者总结提示:这里可以添加本文要记录的大概内容:一、pom.xml依赖包org.springframework.
kafka
spring-
kafka
2.8.0
Ryan成长笔记
·
2024-01-26 06:55
kafka
linq
分布式
爬虫工作量由小到大的思维转变---<第三十九章 Scrapy-redis 常用的那个RetryMiddleware>
正文:
源代码分析
这个RetryMiddleware是来自:fromscrapy.downloadermiddlewares.retryimportRetryMiddleware我们可以看他的源码:(我已经添加了中文注释
大河之J天上来
·
2024-01-26 06:39
scrapy爬虫开发
scrapy
日志分析系统部署
由于公司的日志需要分析用户的行为,故做了一套从原始数据的分析,到入库,再到显示的基本动作涉及组件有:FileBeat+
Kafka
+Python+InfluxDB+Grafana+Elasticsearch
韩搏
·
2024-01-26 06:08
其它
日志分析
grafana
influxdb
kafka
storm trident 一个batch多大
Youcanincreasethebatchsizebychanging"trident
Kafka
Config.fetchSizeBytes"property.Also,batchsizeisrelatedwithnumberofbrokersandnumberofpartitions.Forexample
正居明阳
·
2024-01-26 04:24
kafka
文件存储机制
一,
kafka
简介
Kafka
最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。
allin8116
·
2024-01-26 04:42
Zookeeper集群+
Kafka
集群
ZookeeperZookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。分布式系统管理框架,主要用来解决分布式应用集群中应用系统的数据一致性问题相当于各种分布式应用的注册中心+文件系统+通知机制。本质:用于注册各种分布式应用,存储和管理这些分布式应用的元数据,如果应用或服务本身状态发送变化就会通知客户端。Zookeeper工作机制Zookeeper从设计模式角度来理解
lelelele798
·
2024-01-26 03:41
zookeeper
kafka
分布式
橘子皮的实习周记——第一周总结
一周小总结:目前入职上班时间一周,主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说,就是熟悉一下业务),我最头疼的就是使用
kafka
hbasehadoop这些技术,对MySQL内的数据进行一个同步
程序员橘子皮
·
2024-01-26 03:35
java
说一下的 dubbo 的工作原理?注册中心挂了可以继续通信吗?说说一次 rpc 请求的流程?
面试官心理分析MQ、ES、Redis、Dubbo,上来先问你一些思考的问题,原理(
kafka
高可用架构原理、es分布式架构原理、redis线程模型原理、Dubbo工作原理),生产环境里可能会碰到的一些问题
kevin0016
·
2024-01-26 02:04
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他