E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka可视化工具
Kafka
(Go)教程(一)---通过docker-compose 安装
Kafka
本文记录了如何通过docker-compose快速启动
kafka
,部署一套开发环境。1.概述
Kafka
是由Apache软件基金会旗下的一个开源消息引擎系统。
lililidahaoren
·
2024-01-11 08:43
docker-comppose
kafka
docker
golang
28.windows安装
kafka
,Go操作
kafka
示例(sarama库)
文章目录一:打开
Kafka
官网进行下载
Kafka
二:下载完毕之后进行解压三:三、启动Zookeeper四:启动
Kafka
五:测试
kafka
1.创建topic2.创建生产者生产数据3.创建消费者消费数据4
百里守约学编程
·
2024-01-11 08:11
go
windows
kafka
golang
kafka
的搭建
kafka
的搭建一、
kafka
介绍
kafka
是一个分布式数据流平台,可以运行在单台服务器上,也可以在多台服务器上部署形成集群。
Bob drudgery
·
2024-01-11 08:07
docker
kafka
依赖
Kafka
的Go单元测试例解
Kafka
[1]是Apache基金会开源的一个分布式事件流处理平台,是Java阵营(最初为Scala)中的一款杀手级应用,其提供的高可靠性、高吞吐量和低延迟的数据传输能力,让其到目前为止依旧是现代企业级应用系统以及云原生应用系统中使用的重要中间件
Tony Bai
·
2024-01-11 08:05
kafka
golang
单元测试
分布式
开发语言
Zookeeper+
Kafka
概述
一Zookeeper1.1Zookeeper定义Zookeeper是一个开源的、分布式的,为分布式框架提供协调服务的Apache项目。1.2Zookeeper特点Zookeeper:一个领导者(leader),多个跟随者(Follower)组成的集群。Zookeeper:集群中只要有半数以上节点存活,Zookeeper集群就正常服务,所以Zookeeper适合安装奇数台服务器。全局数据一致:每个S
峡谷在逃戚风
·
2024-01-11 07:02
zookeeper
分布式
云原生
Kafka
事务
Kafka
事务是2017年
Kafka
0.11.0.0引入的新特性。类似于数据库的事务。
Kafka
事务指的是生产者生产消息以及消费者提交offset的操作可以在一个原子操作中,要么都成功,要么都失败。
无语堵上西楼
·
2024-01-11 07:02
微服务
kafka
数据库
分布式
kafka
基本操作
Kafka
中所有的消息都是保存在主题中,要生产消息到
Kafka
,首先必须要有一个确定的主题。
无语堵上西楼
·
2024-01-11 07:32
微服务
kafka
数据库
分布式
Java编程操作
Kafka
同步生产消息到
Kafka
中接下来,我们将编写Java程序,将1-100的数字消息写入到
Kafka
中。
无语堵上西楼
·
2024-01-11 07:32
微服务
java
kafka
开发语言
Kafaka之架构
Kafka
重要概念broker一个
Kafka
的集群通常由多个broker组成,这样才能实现负载均衡、以及容错broker是无状态(Sateless)的,它们是通过ZooKeeper来维护集群状态一个
Kafka
无语堵上西楼
·
2024-01-11 07:28
微服务
架构
基于Flume、
Kafka
和Storm实现企业大数据平台的实时数据采集
近年来,随着企业信息化建设的飞速发展,大数据应用的问题越来越备受关注。很多企业投入大量的人力、物力和财力建设企业大数据平台,平台建设工作涵盖数据采集、数据处理、数据存储、数据服务、数据展示以及数据质量管理各个环节。而数据采集作为企业大数据平台建设的首要环节,是企业大数据平台建设的根本所在,如果数据采集环节技术体系架构可靠性不高、稳定性不强且不易扩展,企业大数据平台建设就失去了意义。尤其是面对数据量
皮皮杂谈
·
2024-01-11 07:26
分布式必学的消息中间件---
Kafka
篇(想不出好名字了> <)
12.
Kafka
篇文章目录12.
Kafka
篇12.1什么是消息中间件?12.2
kafka
是什么?有什么作用?12.3生产者发送消息有哪些
CodingLemon.
·
2024-01-11 06:53
面试
kafka
消息队列
【
Kafka
-3.x-教程】-【六】
Kafka
外部系统集成 【Flume、Flink、SpringBoot、Spark】
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:50
Kafka
kafka
flume
flink
spark
#kafka集成外部系统
【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:19
Kafka
kafka
分布式
#kafka概述
#kafka快速入门
【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:19
Kafka
kafka
分布式
大数据
#Kafka-Producer
#Producer原理
【
Kafka
-3.x-教程】-【三】
Kafka
-Broker、
Kafka
-Kraft
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:19
Kafka
kafka
分布式
#kafka-broker
#broker工作流程
【
Kafka
-3.x-教程】-【五】
Kafka
-监控-Eagle
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:19
Kafka
kafka
分布式
#kafka-eagle
#kafka监控
Kafka
-基础(同步消息、异步消息、事务消息、分区规则、Leader选举、分区副本、分区分配策略、消息消费)
Kafka
-基础
Kafka
是基于发布/订阅的消息队列,主要用于大数据实时处理领域,
Kafka
是一个开源的分布式事件流平台,被数千家公式用于高性能数据管道、流分析、数据集成、关键任务应用等消息队列类型目前在企业中比较常见的消息队列重排主要有
JolyouLu
·
2024-01-11 06:18
分布式中间件
kafka
java
分布式
大数据
消息队列
MySQL:ERROR 1067 - Invalid default value for ‘end_time‘【解决办法】
问题描述(mysql版本:5.7.36):今天在使用Navicat
可视化工具
运行sql文件,发生如下错误:在图中,sql是没有错误的,但是运行报错Invaliddefaultvaluefor'end_time
沐阳gg
·
2024-01-11 06:48
mysql
数据库
【总结】消息队列 -
Kafka
3.
kafka
相关概念1)producer(生产者):消息生产者,发布消息到
kafka
集群的终端或服务。produ
tianya3530
·
2024-01-11 06:48
消息中间件
学习笔记
kafka
消息队列
kafka
,zookeper的搭建 消息队列---------基于linux
Kafka
和RabbitMQ的区别首先是在不考虑一些非功能性限制(如运营成本,开发人员对两个平台的了解等)的情况下:优先选择RabbitMQ的条件高级灵活的路由规则。
kjshuan
·
2024-01-11 06:14
Java
kafka
java-rabbitmq
rabbitmq
zookeper
Kafka
- Broker 详解
目录零、前置一、
Kafka
Broker工作流程1.Zookeeper存储的
Kafka
信息2.
Kafka
Broker总体工作流程模拟
Kafka
上下线,Zookeeper中数据变化3.Broker重要参数二
不会调制解调的猫
·
2024-01-11 06:41
Kafka
Zookeeper
kafka
大数据
服务器
云原生
分布式
【
Kafka
-3.x-教程】-【四】
Kafka
-消费者-Consumer
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:40
Kafka
kafka
分布式
#kafka-consumer
#consumer工作流程
【
Kafka
-3.x-教程】-【七】
Kafka
生产调优、
Kafka
压力测试
【
Kafka
-3.x-教程】专栏:【
Kafka
-3.x-教程】-【一】
Kafka
概述、
Kafka
快速入门【
Kafka
-3.x-教程】-【二】
Kafka
-生产者-Producer【
Kafka
-3.x-教程
bmyyyyyy
·
2024-01-11 06:40
Kafka
kafka
压力测试
分布式
#kafka调优
#kafka压测
09、
Kafka
------ 通过修改保存时间来删除消息(retention.ms 配置)
目录通过修改保存时间来删除消息★删除指定主题的消息演示1、修改
kafka
检查过期消息的时间间隔2、修改主题下消息的过期时间3、查看修改是否生效4、先查看下主题下有没有消息5、添加几条消息看效果6、查看消息是否被删除
_L_J_H_
·
2024-01-11 06:39
Kafka
系列
kafka
linq
分布式
08、
Kafka
------ 消息存储相关的配置-->消息过期时间设置、查看主题下的消息存活时间等配置
目录消息存储相关的配置★消息的存储介绍★消息过期时间及处理方式演示:log.cleanup.policy属性配置★修改指定主题的消息保存时间演示:将test2主题下的消息的保存时间设为10个小时1、先查看test2主题下的配置2、然后设置消息的保存时间3、然后再查一遍test2的配置,看是否修改成功★查看指定主题的配置命令1:查看所有对象的信息命令2:查看特定主题的信息消息存储相关的配置★消息的存
_L_J_H_
·
2024-01-11 06:09
Kafka
系列
kafka
linq
分布式
kafka
连接失败时springboot项目启动停机问题
问题:springboot整合
kafka
,作为消费端,对端的
kafka
系统是在生产环境,在本地开发测试时配置了对端的生产环境的
kafka
地址。
行善积德_Fei
·
2024-01-11 06:38
kafka
spring
boot
分布式
使用Springboot+websocket+
kafka
模拟实时数据传输
文章目录使用Springboot+websocket+
kafka
模拟实时数据传输环境准备数据源读取WebSocket服务器网页启动使用Springboot+websocket+
kafka
模拟实时数据传输环境准备环境
叶梦璃愁
·
2024-01-11 06:36
websocket
springboot
kafka
spring
boot
websocket
Kafka
Connect 启动服务以及提交任务初体验
Kafka
提供两种启动方式,一种是单机版standalone,一种是分布式版distributed,与之想对应的配置文件也是分开的单机版的配置文件:connect-standalone.properties
LijunYe
·
2024-01-11 05:08
Kafka
之集群搭建
1.为什么要使用
kafka
集群单机服务下,
Kafka
已经具备了非常高的性能。TPS能够达到百万级别。但是,在实际工作中使用时,单机搭建的
Kafka
会有很大的局限性。消息太多,需要分开保存。
瑜伽娃娃
·
2024-01-11 03:22
Kafka
kafka
分布式
9.2、增量表数据同步
1、数据通道2、Flume配置1)Flume配置概述Flume需要将
Kafka
中topic_db主题的数据传输到HDFS,故其需选用
Kafka
Source以及HDFSSink,Channel选用FileChannel
施小赞
·
2024-01-11 02:16
数仓架构搭建
增量数据同步
2021-05-19
Kafka
Docker安装配置
1.下载docker镜像
kafka
镜像dockerpullwurstmeister/
kafka
zookeeper镜像dockerpullwurstmeister/zookeeper2.启动ZK容器dockerrun-d
四川辣条协会会长
·
2024-01-11 01:13
Java面试题整理(带答案)
题目来源是https://blog.csdn.net/sufu1065/article/details/88051083我删除了自己不使用的框架技术栈,像Hibernate、
Kafka
、Zookeeper
隔壁老赵
·
2024-01-11 00:37
java
面试
Kafka
基本概念和术语
1、消息Record:
Kafka
是消息引擎嘛,这里的消息就是指
Kafka
处理的主要对象。2、主题Topic:主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。
Java-Talk
·
2024-01-11 00:15
Kafka
原理与实践
kafka
分布式
springCould中的Bus-从小白开始【11】
目前支持RabbitMQ和
Kafka
。S
会敲代码的小张
·
2024-01-10 23:56
后端
idea
java
分布式
架构
中间件
rabbitmq
黑马头条(APP端)
项目包含三个部分用户移动app端用户自媒体端管理平台端涉及技术栈:SpringBoot+SpringCloud+nacos+swagger+freemarker+OSS+ElasticSearch+Redis+
Kafka
一码一上午
·
2024-01-10 23:41
项目
spring
cloud
spring
boot
离线数仓构建案例一
数据采集日志数据(文件)到
Kafka
自己写个程序模拟一些用户的行为数据,这些数据存在一个文件夹中。接着使用flume监控采集这些文件,然后发送给
kafka
中待消费。
躺着听Jay
·
2024-01-10 22:06
大数据
big
data
大数据
【高效开发工具系列】idea注释设置
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-10 22:30
s0
常用工具
intellij-idea
java
ide
81、Spark Streaming之DStream以及基本工作原理
它支持从很多种数据源中读取数据,比如
Kafka
、Flume、Twitter、ZeroMQ、Kinesis或者是TCPSocket。
ZFH__ZJ
·
2024-01-10 20:43
面试|
Kafka
常见面试问题总结
[TOC]现如今,
Kafka
已不再是一个单纯的消息队列系统。
Kafka
是一个分布式的流处理平台,被越来越多的公司使用,
Kafka
可以被用于高性能的数据管道,流处理分析,数据集成等场景。
tracy_668
·
2024-01-10 19:22
《python
可视化工具
之matplotlib》图表组成元素
matplotlib库是python中绘制二维、三维图表的数据
可视化工具
。
estate47
·
2024-01-10 19:34
Qwt库画Spectrogram声谱图
Qwt是一个强大的数据
可视化工具
,提供了丰富的图表绘制功能和交互功能,以及灵活的扩展性。它可以帮助开发者快速、高效地实现数据可视化需求,提高数据
AI+程序员在路上
·
2024-01-10 18:59
QT系列
物联网
qt
开发语言
docker 快速启动 Confluent
Kafka
文章目录参考资料来自Confluent
Kafka
与Confluent创建docker-compose.yml启动服务创建Topic向quickstart中写入数据消费quickstart中的数据关闭
Kafka
秀强
·
2024-01-10 16:20
Kafka
kafka
Kafka
中 topic、partition、offset、replica、ISR 等概念详解
文章目录消息的数据结构topic和partition位移(offset)replicaleader和followerISR先说一个题外话,就是
Kafka
名字的由来:Ithoughtthatsince
Kafka
wasasystemoptimizedforwritingusingawriter
秀强
·
2024-01-10 16:20
Kafka
kafka
分布式
java
Java内存泄漏问题分析
内存泄漏也是一个老八股文了,下面来看看实际项目中内存泄漏的场景分析时间回到9月某一天分析阶段一现象:在当时各种请求在那段时间响应很慢,特别是
kafka
异步消费线程不足点:当时主业务基本不可用,有点急,未及时
北i
·
2024-01-10 15:38
jvm
java
内存泄漏
tcp
oom
FlinkSQL设置sink的并行度
pt_dtstring,proc_timetimestamp,ctimetimestamp,PRIMARYKEY(tqi_id)NOTENFORCED)with('connector'='upsert-
kafka
青云游子
·
2024-01-10 15:51
Flink
flink
《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍
对大数据技术栈Hadoop、Hive、Spark、
Kafka
等有深入研究,对Data
wux_labs
·
2024-01-10 14:58
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
分布式系统架构设计之分布式消息队列中间件的技术选型报告
1、主流消息队列中间件01
Kafka
基本原理
Kafka
基于发布-订阅模式,它维护了一个或多个Topic,生产者将消息发送到Topic,消费者从Topic中读取消息。
灸哥漫谈
·
2024-01-10 13:38
架构师修炼导航
分布式
架构
消息队列
日志系统二(ilogtail+
kafka
+logstash+es+kibana)
流程介绍:ilogtail日志采集写入
kafka
指定TopicLogstash消费kafak消息写入ESKibana展示数据注:ilogtail采集的日志也能直接写入ES,需求ES版本8.0+一、ilogtail
`Liar`
·
2024-01-10 13:24
kafka
elasticsearch
分布式
用hextoraw解决update、delete语句执行慢
问题描述 近期在做数据同步功能,各模块数据经过AOP拦截,形成insert、update、delete语句,统一进入
Kafka
,然后由消费端取出消费到Oracle。
活宝战斗机
·
2024-01-10 12:51
数据库
sql
java
Kafka
的bug解决方法 -ERROR Shutdown broker because all log dirs in xxx have failed(
kafka
.log.LogManager)
报错问题我弄了三个broker节点,但是老是出问题,所以我把
kafka
配置的存储数据文件的文件夹删除了,重启发现目录虽然出现了,但是启动
kafka
这个节点失败。而且已经删除的主题也还在。
_L_J_H_
·
2024-01-10 11:34
Kafka
系列
kafka
bug
分布式
上一页
26
27
28
29
30
31
32
33
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他