E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka集群搭建
springboot集成
Kafka
kafka
:#
kafka
的连接地址(注意,是
kafka
所在服务器的公网ip,不要写成zookeeper的了)bootstrap-servers:localh
Maruko310
·
2024-09-04 16:48
java
Kafka
kafka
spring
boot
java
Kafka
学习
1、
kafka
集群配置①需要提前配置zookeeper环境②配置环境变量,与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb
·
2024-09-04 16:48
kafka
学习
分布式
Kafka
~
Kafka
命令行参数使用教程
一、
kafka
-topics.sh1.参数参数描述–bootstrap-server连接的
Kafka
Broker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题
飞Link
·
2024-09-04 15:14
大数据
kafka
zookeeper
分布式
kafka
单条消息太大引起的线上故障
问题现象1.收到日志异常报警,一个Flink任务写入
kafka
消息出现了异常,异常消息如下org.apache.flink.streaming.connectors.
kafka
.Flink
Kafka
Exception
ab342173024
·
2024-09-04 15:44
线上故障篇
java
多图详解
kafka
生产者消息发送过程
:fire:《
Kafka
运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的集群运维能力
JAVAQXQ
·
2024-09-04 15:13
java
kafka
开发语言
kafka
---- producer与broker配置详解以及ack机制详解
一、producer配置1、bootstrap.servers
kafka
broker集群的ip列表,格式为:host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf
·
2024-09-04 15:41
#
kafka
kafka
java
分布式
kafka
单条消息过大发送失败
一、背景生产环境中使用
kafka
作为消息队列,生产者发送消息失败,查询报错日志,得到如下输出:Causedby:org.springframework.
kafka
.
Kafka
Exception:Sendfailed
hungteshun
·
2024-09-04 15:11
kafka
分布式
RabbitMQ和
Kafka
的区别
Kafka
:基于分布式流平台设计,强调高吞吐量和可扩展性。数据以“主题”(Topics)为基础,生产者将消息发送到主题,消费者从主题读取消息。消息按时
知知之之
·
2024-09-04 00:35
RabbitMQ
rabbitmq
kafka
分布式
二、Prometheus常用exporter安装详解
elasticsearch_exporter1.安装配置2.节点添加3.状态查询三、redis_exporter1.安装配置2.节点添加3.状态查询四、rabbitmq_exporter1.安装配置2.节点添加3.状态查询五、
kafka
_exporter1
Spring雷
·
2024-09-03 19:34
监控日志管理
企业运维实战
Doker运维实战
prometheus
elasticsearch
linux
运维
Kafka
原理生产过程的几张图解
11.png(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。(2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者)发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多
一个人一匹马
·
2024-09-03 11:11
消息中间件概述
常用的消息中间件综述组件\特点ActiveMQRabbitMQ
Kafka
跨语言支持(Java优先)语言无关支持(Java优先)支持协议OpenWire,Stomp,XMPP,AMQPAMQP-优点遵循JMS
小孩真笨
·
2024-09-03 08:36
【
Kafka
】怎么解决
Kafka
消费者消费堆积问题?
文章目录一、引言二、
Kafka
消费堆积原因分析三、解决方案1.重制消费点位2.增加消费者数量3.优化消费能力四、重制消费点位五、增加消费者数量六、优化消费能力七、总结八、参考文献九、附录摘要:在分布式系统中
程序者王大川
·
2024-09-03 07:47
大数据
kafka
linq
分布式
基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】
Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式集群介绍2.3Pyecharts介绍2.4Flask框架3分布式
集群搭建
及数据准备
王小王-123
·
2024-09-03 04:54
hadoop
大数据
分布式
电商系统分析
分布式计算
docker启动
kafka
并挂载配置文件,并让外部环境连接
kafka
docker启动
kafka
并挂载配置文件,并让外部环境连接
kafka
拉取
kafka
镜像dockerpullapache/
kafka
:3.7.0通过docker启动
kafka
dockerrun-d--name
kafka
-p9092
晚枫2000
·
2024-09-03 01:09
kafka学习笔记
docker
kafka
容器
大数据
阿里云
后端
运维
【HBase之轨迹】(1)使用 Docker 搭建 HBase 集群
——目录——0.前置准备1.下载安装2.配置(重)3.启动与关闭4.搭建高可用HBase前言(贫穷使我见多识广)前边经历了Hadoop,Zookeeper,
Kafka
,他们的集群,全都是使用Docker
寒冰小澈IceClean
·
2024-09-02 22:49
【大数据之轨迹】
【Docker之轨迹】
笔记
hbase
docker
hadoop
Kafka
-3.3.4摒弃zookeeper集群部署操作文档
一、集群规划
kafka
从2.8版本开始,就允许用户在不需要zookeeper的情况下运行。
ShoShin1020
·
2024-09-02 18:28
kafka
zookeeper
分布式
Kafka
为什么这么快?
Kafka
是一个号称能用普通PC机也能处理超千万亿吞吐量的实时消息平台,之所以能够做到这些,主要原因有四个:一、磁盘的顺序读写在讲磁盘顺序读写之前,我们先来了解一下磁盘的寻址的过程。
神州永泰
·
2024-09-02 12:23
java
大数据
消息中间件
kafka
分布式
Kafka
1.
kafka
的几个角色和概念生产者和消费者消费者组:一些消费者的组合,共同消费一个或几个topic。
人才瘾大
·
2024-09-02 12:21
java面试八股
分布式
kafka
Go操作
Kafka
(confluent-
kafka
-go库)
文章目录Apache
kafka
简介开始使用Apache
Kafka
构建生产者构建消费者总结之前已经有两篇文章介绍过Go如何操作
kafka
28.windows安装
kafka
,Go操作
kafka
示例(sarama
百里守约学编程
·
2024-09-02 11:45
go
golang
kafka
springboot
kafka
group.id多消费组配置
很早之前就使用了springboot+
kafka
组合配置,但是之前使用的spring-
kafka
(1.1.7)版本较低,所以只能通过spring.
kafka
.consumer.group-id=default_consumer_group
Garry1115
·
2024-09-02 03:56
spring
cloud
springboot
kafka
group.id
多消费组
Kafka
ACK机制详解笔记
1.ACK机制简介目的:确保生产者发送的消息可靠地写入
Kafka
集群。核心:生产者发送消息后需等待
Kafka
集群的确认。2.ACK级别acks=0:不等待确认,效率最高,但可能丢数据。
modelsetget
·
2024-09-02 03:23
kafka
kafka
分布式
ACK机制
kafka
生产者发送模式有哪几种?(发后即忘、同步发送、异步发送)
文章目录1.发后即忘(Fire-and-Forget)2.同步发送(SynchronousSend)3.异步发送(AsynchronousSend)总结
Kafka
生产者发送消息时,主要有三种模式,每种模式都有其特定的应用场景和优缺点
小丁学Java
·
2024-09-02 03:52
Kafka
kafka
发后即忘
同步发送
异步发送
Kafka
【二】关于消费者组(Consumer Group)、分区(partition)和副本(replica)的理解
【1】概述Apache
Kafka
是一个分布式流处理平台,它允许你发布和订阅记录流,存储记录流,并且可以对这些记录流进行处理。
流烟默
·
2024-09-02 02:20
#
kafka
分布式
消费者组
面试题集锦:数据库
二:key-value存储系统--Redis:三:消息队列--
kafka
:一、关系型数据库–mysql:1.数据库设计的三大范式:第一范式:每个列都不可以再拆分;第二范式:在第一范式的基础上,非主键列完全依赖于主键
浅弋、璃鱼
·
2024-09-01 17:54
面试经
Golang学习
数据库
面试题
python读取
kafka
数据
#-*-coding:utf-8-*-importsysimportjsonimporttimefrom
kafka
import
Kafka
Consumer#pip3install
kafka
-pythoni
827820937
·
2024-09-01 10:35
python
消息中间件:深入理解
Kafka
的核心架构与组件解析
消息中间件:深入理解
Kafka
的核心架构与组件解析
Kafka
是一种流行的分布式流处理平台,广泛应用于实时数据处理和消息队列场景。
upgrador
·
2024-09-01 09:33
#
消息中间件
kafka
架构
linq
消息中间件:深入理解
Kafka
的消息顺序和一致性、可靠性和高可用性 第1版
消息中间件:深入理解
Kafka
的消息顺序和一致性、可靠性和高可用性第1版
Kafka
是一种分布式消息中间件,它能够处理大规模的实时数据流,是现代分布式系统中的关键组件。
upgrador
·
2024-09-01 09:00
#
消息中间件
kafka
linq
分布式
Kafka
消息积压的典型场景及解决方案
Kafka
消息积压的典型场景:1.实时/消费任务挂掉比如,我们写的实时应用因为某种原因挂掉了,并且这个任务没有被监控程序监控发现通知相关负责人,负责人又没有写自动拉起任务的脚本进行重启。
辞半夏丶北笙
·
2024-09-01 05:39
kafka
分布式
MQ
SparkStreaming结合
kafka
将offSet保存在redis中
SparkStreaming结合
kafka
将offSet保存在redis中SparkStreaming结合
kafka
的两种方式1、SparkStreaming的高级APiCreateDStream,容易发生数据多次读取
哈哈xxy
·
2024-09-01 03:28
bigdata
sparkStreaming
kafka
offset
redis
Spark Streaming+
Kafka
整合+offset管理
Kafka
0-8Receiver模式和Direct模式都不适合当前版本不适用,本次学习采用
Kafka
0-10Direct模式,并通过第三方存储zookeeper来手动管理offset目录前言offset
JiahuiTian
·
2024-09-01 03:27
大数据
#
Spark
#
Kafka
kafka
spark
大数据
Spark(46) -- SparkStreaming整合
kafka
数据源
1.回顾
Kafka
可以看我前面
kafka
文章核心概念图解Broker:安装
Kafka
服务的机器就是一个brokerProducer:消息的生产者,负责将数据写入到broker中(push)Consumer
erainm
·
2024-09-01 03:26
大数据学习
spark
Kafka
入门篇
常用命令Topic列表
kafka
-topics.sh--list--zookeeper172.16.254.28:2181Topic创建
kafka
-topics.sh--create--zookeeper172.16.254.28
墨痕无迹
·
2024-08-31 21:40
Kafka
入门:从零开始了解分布式流处理平台
什么是
Kafka
Apache
Kafka
是由LinkedIn公司开发,后来由Apache软件基金会维护的一个分布式、分区、多副本的基于ZooKeeper协调的分布式消息系统。
犬余
·
2024-08-31 19:34
分布式
kafka
学习
笔记
kafka
客户端连接测试
客户端代码:packagemainimport("fmt""github.com/Shopify/sarama")//
kafka
示例代码funcmain(){//配置config:=sarama.NewConfig
磊-
·
2024-08-31 17:26
go学习笔记
【Mysql】通过Keepalived搭建mysql双主高可用集群
VIP(虚拟ip)hadoop01192.168.10.200centos7_x865.7192.168.10.253hadoop03192.168.10.202centos7_x865.7二、mysql
集群搭建
两台节点
维运
·
2024-08-31 15:13
数据库
mysql
数据库
【Python系列】signal信号处理
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-08-31 09:27
s2
Python
python
信号处理
开发语言
Spring Cloud Stream与
Kafka
(二)
SpringCloudStream与
Kafka
(二)文章目录SpringCloudStream与
Kafka
(二)SpringCloudStream提供的信道自定义Binding声明接口SpringCloudStream
快乐江小鱼
·
2024-08-31 02:40
#
spring
kafka
分布式
spring
cloud
kafka
2.8.2集群离线安装
版本:Centos7、
kafka
_2.13-2.8.2节点:27.196.38.200
kafka
127.196.38.201
kafka
227.196.38.202
kafka
3基础配置在所有节点操作[root
xiongmao0304
·
2024-08-31 00:23
elk
1024程序员节
kafka
(四)
Kafka
离线安装 -
Kafka
下载及安装
Kafka
官方下载地址:Apache
Kafka
这时候下载安装版本。
清风ai明月
·
2024-08-30 23:53
Kafka
kafka
kafka
系列之:使用python消费
kafka
Topic数据
kafka
系列之:使用python消费
kafka
Topic数据一、创建
kafka
Consumer三、查看分区四、查看分区信息五、查看当前消费的Topic六、获取当前消费者可消费的偏移量七、获取当前Topic
快乐骑行^_^
·
2024-08-30 16:37
大数据
kafka系列
python
Centos7离线安装
Kafka
+zookeeper+SASL安全认证
1.安装zookeeper1.下载apache-zookeeper-3.5.8-bin.tar.gz2.解压:tar–zxvfapache-zookeeper-3.5.8-bin.tar.gz3.进入到conf目录cd/opt/apache-zookeeper-3.5.8-bin/conf/4.复制配置文件cfgcpzoo_sample.cfgzoo.cfg5.修改zoo.cfg配置文件:vi/o
weixin_38683859
·
2024-08-30 16:36
centos
kafka
kafka
的安装与测试
kafka
的安装与测试一、概念定义:
kafka
是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要用于大数据实时处理领域使用消息队列的一个好处1.解耦:不需要两台服务器保持同时在线
无情白
·
2024-08-30 16:04
kafka
队列
java
linux
Kafka
配置文件 - server.properties
我安装的
kafka
版本为3.8.0config目录下的配置文件server.properties基础配置修改正常安装好
kafka
后,只需要修改以下两个地方就可以了。
清风ai明月
·
2024-08-30 16:04
Kafka
kafka
使用python创建
kafka
的topic
文章目录使用python创建
kafka
的topic
kafka
基本概念所需安装的包代码样例使用python创建
kafka
的topic
kafka
基本概念Apache
Kafka
是一个开源的分布式流处理平台,
百流
·
2024-08-30 16:02
python笔记
python
kafka
开发语言
常见的实时数仓方案
实时部分以消息队列的方式实时增量消费,一般以Flink+
Kafka
的组合实现,维度表存在关系型数据库或者HBase;离线部分一般采用T+1周期调度分析历史存量数据,每天凌晨产出,更新覆盖前一天的结果数据
北极冰雨
·
2024-08-30 05:27
大数据
大数据
Kafka
常用知识点梳理
部署
kafka
支持两种启动方式
Kafka
withKRaft
Kafka
withZooKeeper(4.0后将会被废弃)核心APIProducerAPI允许应用程序将数据流发送到
Kafka
集群中的主题ConsumerAPI
zhangj1125
·
2024-08-30 02:06
kafka
分布式
中间件简介
常见的消息队列中间件包括Apache
Kafka
、RabbitMQ、ActiveMQ和ZeroMQ、TongLinkQ(TLQ)。它们用
Will_1130
·
2024-08-29 22:38
中间件
Apache
Kafka
快速学习大纲
Kafka
概述定义
Kafka
传统定义:
Kafka
是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。
aaaak_
·
2024-08-29 19:46
大数据
kafka
apache
学习
笔记二十二:
Kafka
基础
消息队列简称为MQ,指的就是数据在一个容器中,从容器一端传递到另一端的操作消息队列,只能暂存数据,不能永久存储数据作用:1)应用解耦合2)异步处理3)限流削峰消息队列的协议:JMS(JavaMessageServer)角色:生产者(Producer)消费者(Consumer)消费模型:#1.点对点消费模型指的一条消息最终只能被一个消费者所消费#2.发布订阅消费模型指的一条消息最终被多个消费者所消费
转通下水道的粉色钻头
·
2024-08-29 19:45
笔记
kafka
分布式
大数据实训笔记7:
kafka
概述
Kafka
是一个开源的分布式事件流平台(EventStreamingPlatform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
Roslin_v
·
2024-08-29 19:14
大数据
kafka
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他