E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka流计算arthas
Kafka
系列之:
Kafka
集群同时设置基于时间和日志大小两种方式保存Topic的数据
Kafka
系列之:
Kafka
集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是
最笨的羊羊
·
2024-02-09 15:09
Kafka
Kafka系列
Kafka集群
基于时间和日志大小
保存Topic的数据
初识
kafka
[TOC]
Kafka
起初是由Linkedin公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现己被捐献给Apache基金会。
tracy_668
·
2024-02-09 14:07
69.Kudu、Spark2、
Kafka
安装—CDH
69.1演示环境介绍CDH集群运行正常操作系统版本为:CentOS6.5CM和CDH版本为:5.12.1CM管理员为:admin用户操作系统用户为:root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包:http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒
·
2024-02-09 14:55
spring boot 怎样集成
kafka
SpringBoot可以使用SpringforApache
Kafka
库来集成
Kafka
。
low sapkj
·
2024-02-09 12:34
spring
boot
kafka
java
spring
mybatis
Spring Boot 集成
Kafka
SpringBoot作为主流微服务框架,拥有成熟的社区生态。市场应用广泛,为了方便大家,整理了一个基于springboot的常用中间件快速集成入门系列手册,涉及RPC、缓存、消息队列、分库分表、注册中心、分布式配置等常用开源组件,大概有几十篇文章,陆续会开放出来,感兴趣同学请提前关注&收藏消息通信有两种基本模型,即发布-订阅(Pub-Sub)模型和点对点(PointtoPoint)模型,发布-订阅
互联网全栈架构
·
2024-02-09 12:34
分布式
kafka
java
大数据
spring
ELK环境搭建
Windows8.1elasticsearch:5.5.1logstash:2.0.0kibana:5.5.1注:由于实验性搭建,选择windows系统,但选择Linux系统效果更佳二、部署方案1.ELK+Redis2.ELK+
Kafka
枯木风
·
2024-02-09 12:08
腾讯AI大佬详解Apache
Kafka
实战
内容简介1.Apache
Kafka
简介:Apache
Kafka
是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。
Kafka
最初是由LinkedIn开发,并于2011年初开源。
笑起来真好看LQQ
·
2024-02-09 08:53
Kafka
消息传递的可靠性
kafka
拥有以下可靠性保证:可以保证分区消息的顺序。
阿猫阿狗Hakuna
·
2024-02-09 07:14
MySQL篇之定位与优化MySQL慢查询
一、如何定位慢查询1.方案一:开源工具调试工具:
Arthas
。运维工具:Prometheus、Skywalking。
学java的冲鸭
·
2024-02-09 07:34
mysql
数据库
面试
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661
kafka
1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661
kafka
1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
linux 消息发布工具-
kafka
下载地址:https://mirrors.cnnic.cn/apache/
kafka
一、系统构成在整个消息发布流程中,
kafka
作为一个中间件对系统的运行提供了解耦、削峰、异步处理的能力。
强壮的向阳花
·
2024-02-09 05:53
linux系统常用工具
linux
kafka
运维
【云原生进阶之PaaS中间件】第三章
Kafka
-4.3.2-broker网络模型
1
kafka
网络模型运行原理
kafka
broker在启动的时候,会根据你配置的listeners初始化它的网络组件,用来接收外界的请求,这个listeners你可能没配置过,它默认的配置是listeners
江中散人
·
2024-02-09 05:19
云原生进阶-PaaS专栏
云原生
paas
中间件
kafka
broker
【云原生进阶之PaaS中间件】第三章
Kafka
-4.3.3-broker的leader和follower工作机制
1leader和follower1.1
kafka
的副本
kafka
副本的作用就是提高数据的可靠性,系统默认副本数量是1,生产环境一般配置数量是2个,保证数据可靠性;否则副本太多会增加磁盘的存储空间,增加网络上的数据传输
江中散人
·
2024-02-09 05:19
云原生进阶-PaaS专栏
后端
云原生
paas
中间件
kafka
2024最新Java面试题及答案!( 2024年 1 月最新版,持续更新)
面试题大全~这套互联网Java工程师面试题包括了:Java面试、Spring、JVM、MyBatis、Redis、MySQL、并发编程、微服务、Linux、Springboot、SpringCloud、MQ、
Kafka
程序一逸
·
2024-02-09 05:00
开发语言
java
后端
面试
程序员
多线程
JVM
Kafka
入门介绍
目录一.前言二.使用场景三.分布式的流平台四.
Kafka
的基本术语4.1.主题和日志(Topic和Log)4.2.分布式(Distribution)4.3.异地数据同步技术(Geo-Replication
流华追梦
·
2024-02-09 00:43
Kafka
kafka
主题Topic
分区Partition
生产者Producer
消费者Consumer
副本Replication
消费者组Group
Elasticsearch: 非结构化的数据搜索
singleDoc#《olap/clickhousekeeper一致性协调服务》),
kafka
->redpanda(https://www.
SakamataZ
·
2024-02-08 22:48
elasticsearch
大数据
搜索引擎
Kafka
实战(五) -
Kafka
的秘技"坂本"之争
只有顺应版本,才能成就王者不败神话也是能否用好
Kafka
的关键。
JavaEdge
·
2024-02-08 20:50
消息中间件:Puslar、
Kafka
、RabbigMQ、ActiveMQ
消息队列消息队列:它主要用来暂存生产者生产的消息,供后续其他消费者来消费。它的功能主要有两个:暂存(存储)队列(有序:先进先出从目前互联网应用中使用消息队列的场景来看,主要有以下三个:异步处理数据系统应用解耦业务流量削峰消息队列模型点对点模式多个生产者可以向同一个消息队列发送消息,一个消息只能被一个消费者消费,在被消费成功后,这条消息会被移除。如果消费者处理消息失败了,那么这条消息会重新被消费。发
Kingairy
·
2024-02-08 18:33
kafka
activemq
分布式
一探究竟,详解
Kafka
生产者和消费者的工作原理!
主题和日志对于每个主题,
Kafka
群集都会维护一个分区日志,如下所示:image.png每个分区(Partition)都是有序的(所以每一个Partition内部都是有序的),不变的记录序列,这些记录连续地附加到结构化的提交日志中
废柴程序员
·
2024-02-08 17:42
flink消费
kafka
源
后来一通折腾,发现我当时消费的配置,是用Flink
Kafka
Consu
MinaLing
·
2024-02-08 16:14
2.
Kafka
生产过程
三、
Kafka
生产过程分析1.写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高
chongweiLin
·
2024-02-08 12:56
Spark streaming batch运行时间过长问题02
继续排查发现,在用Spark读取
Kafka
数据之后,由于数据通过
Kafka
读取后是逗号分隔的字符串,但是为了解决字符串某些字段中还有逗号的问题,只能使用正则表达式匹配,导致性能过慢。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
Flink Checkpoint过程
Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理(尚未Checkpoint)如下图,Topic有两个分区,并行度也为2,根据奇偶数我们假设任务从
Kafka
的某个Topic中读取数据
orange大数据技术探索者
·
2024-02-08 09:49
#
flink迁移
flink
大数据
Checkpoint
Flink Format系列(2)-CSV
Flink的csv格式支持读和写csv格式的数据,只需要指定'format'='csv',下面以
kafka
为例。
sf_www
·
2024-02-08 09:48
flink
flink
大数据
storm整合
kafka
maven4.0.0storm-
kafka
-mysqlstorm-
kafka
-mysql0.0.1-SNAPSHOTjarstorm-
kafka
-mysqlUTF-8javaxjavaee-api8.0providedorg.glassfish.webjavax.servlet.jsp.jstl1.2.2org.apache.stormstorm-core0.9.5provided
piziyang12138
·
2024-02-08 09:01
如何查看
kafka
的topic的消费者组有没有积压
Kafka
自带的命令行工具
kafka
-consumer-groups.sh来查看消费者组的消费情况,包括是否有积压。具体步骤如下:打开命令行终端,进入
Kafka
安装目录下的bin文件夹。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
中间件
kafka
java
分布式
AXI数据
流计算
CRC8的代码
modulecrc8_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[7:0]POLY=8'h07;reg[7:0]crc_remainder
冰冻土卫二
·
2024-02-08 07:42
fpga开发
AXI数据
流计算
CRC16的代码
modulecrc16_coder_8bit(inputclk,inputrst_n,inputdin_last,inputdin_valid,input[7:0]din_data,outputregdout_last,outputregdout_valid,outputreg[7:0]dout_data);parameter[15:0]POLY=16'h1021;//or16'h8005reg[
冰冻土卫二
·
2024-02-08 07:42
fpga开发
Flink 2.0 状态存算分离改造实践
主要分为以下四部分:Flink大状态管理痛点阿里云自研状态存储后端Gemini的存算分离实践存算分离的进一步探索批量化存算分离适用场景一、Flink大状态管理痛点1.1Flink状态管理状态管理是有状态
流计算
的核心
Apache Flink
·
2024-02-08 07:28
flink
网络
大数据
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,
Kafka
,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
网络|使用 Wireshark 分析 TLS/SSL 协议
背景服务端(3.205)是开启SASL_SSL协议的9094端口的
Kafka
服务器客户端(77.20)连接9094端口的生产者。
thlzjfefe
·
2024-02-08 06:29
网络
wireshark
ssl
Install
Kafka
on Ubuntu 16
0准备模拟生产环境,安装
Kafka
,需要最少三台机器,如下主机名IP
Kafka
-110.0.0.5
Kafka
-210.0.0.6
Kafka
-310.0.0.7
Kafka
是使用scala编写的运行与jvm
华阳_3bcf
·
2024-02-08 04:27
消息队列使用的四种场景介绍
使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,
Kafka
,MetaMQ,RocketMQ。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。
Bin哥厉害7
·
2024-02-08 03:19
java
spring
boot
消息队列
阅读《极客时间 |
Kafka
核心技术与实战》(一)【
Kafka
入门】
阅读《极客时间|
Kafka
核心技术与实战》为什么要学习
Kafka
消息引擎系统ABC一篇文章带你快速搞定
Kafka
术语我应该选择哪种
Kafka
?
_蓝天IT_
·
2024-02-08 01:13
消息队列(Kafka)
kafka
分布式
2021,Java最全的分布式面试题合集附答案,共2w字!
分布式分为分布式缓存(Redis)、分布式锁(Redis或Zookeeper)、分布式服务(Dubbo或SpringCloud)、分布式服务协调(Zookeeper)、分布式消息队列(
Kafka
、RabbitMq
码农突围
·
2024-02-07 21:52
玩转RabbitMq
从消息组件来分类(两类):1.JMS组件:ActiveMq(慢)2.AMQP组件:协议组件(性能高):两个主要的开源项目|-RabbitMq==>速度快(十年加的一款产品)|-
Kafka
==>大数据时代产物
dreamer_0137
·
2024-02-07 21:51
SpringBoot集成
Kafka
引入
Kafka
依赖org.springframework.
kafka
spring-
kafka
修改配置文件spring:
kafka
:bootstrap-servers:127.0.0.1:9092,127.0.0.1
DanceDonkey
·
2024-02-07 20:41
消息中间件
大数据计算
kafka
spring
boot
java
SpringBoot集成
kafka
收发消息
传递消息为对象目前springboot整合后的
kafka
,因为序列化器是StringSerializer,这个时候如果需要传递对象可以有两种方式方式一:可以自定义序列化器,对象类型众多,这种方式通用性不强
慕容潇湘
·
2024-02-07 20:41
kafka
spring
boot
kafka
java
Springboot 集成
Kafka
Admin
基础知识点(256条消息)看完这篇
Kafka
,你也许就会了
Kafka
_心的步伐的博客-CSDN博客需要注意消费者offset的配置,生产者ackdocker安装
kafka
和zookeeper记得修改ip
试验者
·
2024-02-07 20:10
spring
boot
kafka
后端
Kafka
整理
常用消息中间件对比
Kafka
是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。
瑜骐
·
2024-02-07 19:08
4、
Kafka
消费者-从
Kafka
读取数据
(2)
Kafka
两种模型提供单一消费者模型:消费者组。消费者用组名标记自己。Topic上消息发给此组中一个消费者。1)所有消费者在一个组中,变成队列。2)不同的组中,变成发布-订阅。
hedgehog1112
·
2024-02-07 19:04
jvm基础篇之垃圾回收[2](垃圾回收算法)
文章目录版权声明垃圾回收算法核心思想垃圾回收算法的历史垃圾回收算法的评价标准垃圾分类算法分类标记清除算法核心思想标记清除算法优缺点复制算法核心思想完整案例复制算法的优缺点标记整理算法核心思想标记整理算法优缺点分代垃圾回收算法
arthas
缘友一世
·
2024-02-07 18:02
jvm
jvm
java
学习
日志收集系统ELK+
kafka
部署
日志收集系统ELK+
kafka
部署文章目录日志收集系统ELK+
kafka
部署一、系统准备1.1部署简介1.2升级内核1.3内核优化1.4安装NTP服务1.5关闭swap分区二、部署ISCSI2.1配置数据网络
MappleZF
·
2024-02-07 13:47
kafka
zookeeper
elasticsearch
2020-11-23
Kafka
-server启动报错ERRORProcessorgotuncaughtexception.ERRORProcessorgotuncaughtexception.
北大荒码农
·
2024-02-07 12:33
【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决
文章目录01Flink集成
Kafka
Connector运行报错02解决方案03原因分析04深入认识4.1flink-connector-base简介概述4.2flink-connector-base功能作用
浅夏的猫
·
2024-02-07 10:11
Flink专栏
flink
apache
大数据
【
Kafka
专栏】windows搭建
Kafka
环境 & 详细教程(01)
文章目录01引言1.1官网地址1.2概述简介1.3
kafka
与zookeeper02部署zookeeper2.1下载组件包2.2解压压缩包(1)解压到任意路径(2)解压后的目录创建数据目录data2.3
浅夏的猫
·
2024-02-07 10:41
kafka专栏
windows
kafka
分布式
zookeeper
【极数系列】Flink集成
Kafka
Source & 实时消费数据(10)
文章目录01引言02连接器依赖2.1
kafka
连接器依赖2.2base基础依赖03连接器使用方法04消息订阅4.1主题订阅4.2正则表达式订阅4.3Partition列分区订阅05消息解析06起始消费位点
浅夏的猫
·
2024-02-07 10:41
flink
大数据
java
【极数系列】Flink集成
Kafka
Sink & 实时输出数据(11)
文章目录01引言02连接器依赖2.1
kafka
连接器依赖2.2base基础依赖03使用方法04序列化器05指标监控06项目源码实战6.1包结构6.2pom.xml依赖6.3配置文件6.4创建sink作业
浅夏的猫
·
2024-02-07 10:37
Flink专栏
flink
大数据
java
使用debezuim,实现PG同步Oracle
1.对于bytea类型,debezuim发给
kafka
的是一个很短的奇怪字符串。使用wal2json直接decode出来的,是完整的数据,但是到了debezuim,就只有很短的字符串了。
howard_shooter
·
2024-02-07 10:25
PostgreSQL
数据库
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他