E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka权威指南
ELK+
kafka
+filebeat企业内部日志分析系统搭建
机器主要作用分布如下:三台安装elasticsearch来搭建ES集群实现高可用,其他机器就依次安装filebeat,
kafka
,logstash和kibana软件一、部署elasticsearch来搭建
五言六舌
·
2024-01-04 07:26
Linux
云计算
elk
elk
kafka
运维
springboot
kafka
消费者启动/停止监听控制,启动时只消费此时之后的数据
1.业务需求在springboot项目中,使用spring-
kafka
消费
kafka
数据。
程大白丶
·
2024-01-04 06:05
kafka
spring
boot
java
Kafka
目录1、
Kafka
简要描述1.1、
kafka
1.2消息队列1.3、为什么需要消息队列1.4
kafka
架构1.5分布式模型1.6
Kafka
网址2、
Kafka
集群部署2.1环境准备2.1.1集群规划2.1.2jar
有语忆语
·
2024-01-04 04:59
大数据之数据仓库
kafka
分布式
Kafka
架构
Kafka
Kafka
中文官方文档一、介绍Apache
Kafka
®是一个分布式流处理平台,构造实时流数据管道。
chongweiLin
·
2024-01-04 03:16
58分布式消息队列WMB设计与实践
现常见的开源消息队列有
Kafka
、RocketMQ、RabbitMQ等,都有着不同的使用场景和特点。RabbitMQ采用erlang语言开发,具有较高的可靠性,但是性能较差;
kafka
突出
爱情小傻蛋
·
2024-01-04 02:59
【
Kafka
每日一问】Kfaka拉取消息的请求体是什么样的,以及返回的消息结构是什么样的?
Kafka
拉取消息的请求体是一个JSON结构,包含以下字段:max_bytes:可选,表示要拉取的消息的最大字节数。
jianjun_fei
·
2024-01-04 01:58
Kafka每日一问
kafka
分布式
【
Kafka
源码】处理请求
[TOC]在
Kafka
Server中的入口在:apis=new
Kafka
Apis(socketServer.requestChannel,replicaManager,groupCoordinator,
端木轩
·
2024-01-04 00:28
防火墙未开端口导致zookeeper集群异常,
kafka
起不来
问题描述:主机信息:IPhostname10.0.0.10host1010.0.0.12host1210.0.0.13host13在这三台主机上部署一套zookeeper&
kafka
集群环境的时候,zk
SRE成长记
·
2024-01-03 21:22
问题集
zookeeper
kafka
分布式
Kafka
集群部署
在
Kafka
集群(Cluster)中,一个
Kafka
节点就是一个Broker,消息由Topic来承载,可以存储在1个或多个Partition中。
Minority
·
2024-01-03 21:18
Hadoop写文件时datanode发生故障的处理过程
学习Hadoop写文件的流程时,看《Hadoop
权威指南
》中文版,在datenode发生故障时的处理那里,真的是看不懂。于是找来英文原版进行翻阅,终于有种看明白的感觉了。
小北觅
·
2024-01-03 18:03
关于理解maxwell监控mysql数据的变化
对于maxwell监控mysql数据的变化,我们说,maxwell本身是不会落盘产生数据的,而且它会监控的数据发送给
kafka
,我们在config里面配置相应的参数,就能实现监控另外我自己太傻了,有问题闷着
劝学-大数据
·
2024-01-03 17:22
数据仓库
基于 Flink 的百亿数据去重实践
在工作中经常会遇到去重的场景,例如基于App的用户行为日志分析系统,用户的行为日志从手机客户端上报到Nginx服务端,通过Logstash、Flume或其他工具将日志从Nginx写入到
Kafka
中。
zhisheng_blog
·
2024-01-03 16:52
大数据实时计算引擎
Flink
实战与性能优化
Kafka
系列之:
kafka
.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression
Kafka
系列之:
kafka
.errors.UnsupportedCodecError:UnsupportedCodecError:Librariesforsnappycompression一、完整错误二
最笨的羊羊
·
2024-01-03 13:18
Kafka
Kafka系列
snappy
compression
kafka
-console-cosumer监听消息并打印时间
/
kafka
-console-consumer.sh--bootstrap-server192.168.100.236:9192192.168.100.236:9292192.168.100.236:9392
芸尚非
·
2024-01-03 13:15
kafka
分布式
大数据实时项目必备技能二:
kafka
有话说
导读:
Kafka
是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与ClouderaHadoop,ApacheStorm,ApacheSpark集成。
栀子花_ef39
·
2024-01-03 11:05
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级
引言八天很短,七天很长,数睿通2.0数据中台也随之迎来了新一轮的版本迭代,本次更新主要包括:主数据模型(可视化建模)主数据派发(支持派发主数据到下游数据表,rabbitMq,
kafka
,接口)数据表(数仓分层表信息展示
小螺旋丸
·
2024-01-03 10:51
大数据
数据库
大数据
数据中台
Spark导入报错:object security is not a member of package org.apache.
kafka
.common
引言 buildspark里自带的示例项目时报了这样一个错:object
kafka
isnotamemberofpackageorg.apache,排查后发现是因为添加的jar依赖里没有
kafka
这一项,
夜半罟霖
·
2024-01-03 09:40
spark
apache
kafka
Kafka
安全认证机制详解之SASL_PLAIN
一、概述官方文档:https://
kafka
.apache.org/documentation/#security在官方文档中,
kafka
有五种加密认证方式,分别如下:SSL:用于测试环境SASL/GSSAPI
4935同学
·
2024-01-03 08:10
大数据
Kafka
kafka
安全
分布式
springboot整合~swagger~
kafka
~nginx~redis~mysql(在linux服务器环境下部署运行测试)
~适合小白入门,springboot简单整合微服务技术,部署在linux环境下进行测试~~注意:运行环境为linux服务器,提前给linux服务器环境中安装jdk、
kafka
、zookeeper、nginx
茶苦甜心
·
2024-01-03 08:06
springboot
nginx
kafka
spring
boot
nginx
kafka
redis
linux
使用Spring Request-Reply实现基于
Kafka
的同步请求响应
大家提到
Kafka
时第一印象就是它是一个快速的异步消息处理系统,不同于通常tomcat之类应用服务器和前端之间的请求/响应方式请求,客户端发出一个请求,必然会等到一个响应,这种方式对
Kafka
来说并不自然
Java大生
·
2024-01-03 07:43
kafka
处理大量消息积压tips —— 筑梦之路
一、consumer导致
kafka
积压了大量消息场景:1.如果是
Kafka
消费能力不足,则可以考虑增加topic的partition的个数,同时提升消费者组的消费者数量,消费数=分区数(二者缺一不可)2
筑梦之路
·
2024-01-03 06:27
Java技术
kafka
分布式
Linux Page Cache调优在
Kafka
中的应用
mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg作者:YangYijun本文主要描述LinuxPageCache优化的背景、PageCache的基本概念、列举之前针对
Kafka
vivo互联网技术
·
2024-01-02 22:05
高阶函数(
权威指南
p178)
高阶函数(higher-orderfunction)指操作函数的函数,一般地,有以下两种情况:1、函数可以作为参数被传递2、函数可以作为返回值输出参数传递把函数当作参数传递,代表可以抽离出一部分容易变化的业务逻辑,把这部分业务逻辑放在函数参数中,这样一来可以分离业务代码中变化与不变的部分。其中一个常见的应用场景就是回调函数【回调函数】在ajax异步请求的应用中,回调函数的使用非常频繁。想在ajax
木子川页心
·
2024-01-02 14:31
88、Spark Streaming之输入DStream之
Kafka
数据源实战(基于Direct的方式)
替代掉使用Receiver来接收数据后,这种方式会周期性地查询
Kafka
,来获得每个topic+partition的最新的offset,从而定义每个batch的offset的范围。
ZFH__ZJ
·
2024-01-02 13:25
Kafka
高性能架构设计
1、概述
Kafka
是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。
FourtySeven
·
2024-01-02 10:18
Kafka
提交offset机制
3sPGFihkBbhc41jSaAzCwPnANCbs1z56_l4a1eXnhRtd2XxT5B4r7_2HB3wJT2IhoGMzpD858l_RKRrU8TDQm_&wd=&eqid=e88a5ce70002861e000000035d4cdc76在
kafka
北洋同学
·
2024-01-02 05:04
PiflowX组件-ReadFromUpsert
Kafka
ReadFromUpsert
Kafka
组件组件说明upsert方式从
Kafka
topic中读取数据。
暗影八度
·
2024-01-01 23:06
大数据
spark
big
data
flink
hadoop
PiflowX组件-WriteToUpsert
Kafka
WriteToUpsert
Kafka
组件组件说明以upsert方式往
Kafka
topic中写数据。
暗影八度
·
2024-01-01 23:05
PiflowX
大数据
spark
flink
数据库
hdfs
etl
Debezium日常分享系列之:向 Debezium 连接器发送信号
Debezium日常分享系列之:向Debezium连接器发送信号一、概述二、激活源信号通道三、信令数据集合的结构四、创建信令数据集合五、激活
kafka
信号通道六、数据格式七、激活JMX信号通道八、自定义信令通道九
最笨的羊羊
·
2024-01-01 23:32
日常分享专栏
Debezium日常分享系列
向Debezium连接器
发送信号
Azure Service Bus(一)入门简介
一,引言今天开始学习新的内容AzureServiceBus(服务总线),其实也叫”云消息服务“,和RabbitMQ,
KafKa
的一样都是作为消息通信服务,但是它们直接还有有很多区别的,我这里就不过多解释了
贠乾
·
2024-01-01 22:11
【
Kafka
】10道不得不会的
Kafka
面试题
博主介绍:自媒体JavaPub独立维护人,全网粉丝15w+,csdn博客专家、java领域优质创作者,51ctoTOP10博主,知乎/掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和副业。公众号:JavaPub⭐⭐简历模板、学习资料、面试题库等都给你关注公众号【JavaPub】,回复:最少必要面试题,获取《10万字301道Java经典面试题总结(附答案)》pdf,背题更方便
JavaPub
·
2024-01-01 19:38
JAVA面试题分享二百四十四:彻底理解零拷贝技术( DMA、PageCache)
目录DMAmmap+writesendfile
kafka
和Nginx都使用了零拷贝技术大文件传输:异步IO+直接IO总结DMA直接内存访问(DirectMemoryAccess)什么是DMA?
之乎者也·
·
2024-01-01 18:00
JAVA
面试题分享
java
面试
开发语言
论最强IO:MappedByteBuffer VS FileChannel
最近一直在研究MQ,开源社区中有很多高性能MQ:
kafka
、RocketMQ、ActiveMQ,抛开网络传输方式、数据结构设计、文件存储方式...等因素。
布道
·
2024-01-01 18:59
Java
FileChannel
STM32的在线升级(IAP)实现方法:BOOT+APP原理详解
0工具准备KeiluVision5CortexM3
权威指南
(中文)STM32参考手册1在线升级(IAP)设计思路为了实现STM32的在线升级(IAP)功能,通常会将STM32的FLASH划分为BOOT和
时光飞逝的日子
·
2024-01-01 15:55
工程设置
单片机开发
stm32
嵌入式硬件
单片机
同城容器集群多活及弹性扩容方案
部署模式相同业务容器集群,按照1:1资源配比,创建两个k8s集群,分别部署在同地域不同可用区,两个容器集群,共用一套数据库部署说明按照1:1资源配比在不同可用区分别创建k8s集群redis/
kafka
在不同可用区分别创建一套实例
行者深蓝
·
2024-01-01 13:18
PHP
kafka
初步测试
1.Mac安装
Kafka
并启动
kafka
brewinstall
kafka
==>Downloadinghttps://homebrew.bintray.com/bottles/
kafka
-2.2.0.high_sierra.bottle.tar.gzAlreadydownloaded
鸿雁长飞光不度
·
2024-01-01 12:54
Flink
Kafka
[输入/输出] Connector
本章重点介绍生产环境中最常用到的Flink
kafka
connector。使用Flink的同学,一定会很熟悉
kafka
,它是一个分布式的、分区的、多副本的、支持高吞吐的、发布订阅消息系统。
程序猿进阶
·
2024-01-01 11:58
Flink
flink
kafka
linq
大数据
java
面试
后端
KAFKA
、RABBITMQ、ROCKETMQ等消息中间件的介绍和对比
前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列,就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等,用来保存数据的。当然,与数据库、缓存等产品比较,也有自己一些特点,具体的特点后文会做详细的介绍。现
公号:java高级架构师
·
2024-01-01 10:18
Kafka
、RabbitMQ、RocketMQ等 消息中间件 介绍和对比
3.1、
Kafka
3.2、RabbitMQ3.3、RocketMQ4、测试4.1、测试目的4.2、测试场景4.2.1、
Kafka
4.2.2、RocketMQ4.2.3、RabbitMQ4.3、测试结论5
weixin_30559481
·
2024-01-01 10:17
数据库
运维
java
Kafka
、RabbitMQ、RocketMQ等消息中间件的介绍和对比 侵删
前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列,就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等,用来保存数据的。当然,与数据库、缓存等产品比较,也有自己一些特点,具体的特点后文会做详细的介绍。现
心神沫沫
·
2024-01-01 10:47
网文干货
Kafka
、RabbitMQ、RocketMQ等消息中间件的介绍和对比
前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列,就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等,用来保存数据的。当然,与数据库、缓存等产品比较,也有自己一些特点,具体的特点后文会做详细的介绍。现
lxw1844912514
·
2024-01-01 10:14
Java程序员:世界有三个伟大的发明「火、轮子、
kafka
」
一、
Kafka
是什么?有人说世界上有三个伟大的发明:火,轮子,以及
Kafka
。
Java旺
·
2024-01-01 04:17
【Java基础系列】body参数前后端不一致
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-01 01:56
s1
java基础
java
开发语言
Kafka
安装及简单使用介绍
java系列技术分享(持续更新中…)初衷:一起学习、一起进步、坚持不懈如果文章内容有误与您的想法不一致,欢迎大家在评论区指正希望这篇文章对你有所帮助,欢迎点赞收藏⭐留言更多文章请点击文章目录一、什么是
Kafka
Dream_sky分享
·
2024-01-01 00:25
mq
kafka
分布式
接收
Kafka
数据并消费至Hive表
1Hive客户端方案将
Kafka
中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在
Kafka
中的。
程序终结者
·
2023-12-31 23:49
Hadoop生态
Flink
kafka
hive
linq
Kafka
_01_
Kafka
初识
Kafka
_01_
Kafka
初识
Kafka
基础概念延迟任务
Kafka
Kafka
:ZooKeeper协调的分布式消息系统基于Scala语言编写的高性能、多分区、多副本
Kafka
高性能的原因:页缓存、顺序IO
爱喝可乐的w
·
2023-12-31 20:48
Kafka
kafka
分布式
《Android编程
权威指南
》之使用布局与组件创建用户界面
时间过得真快,过年长假已经结束,又开始回归工作了。继续努力加油ヾ(◍°∇°◍)ノ゙第九章使用图形布局工具介绍用图形布局工具创建布局了,打开布局文件,切换为Design标签页,就是图形布局工具界面了。image.png在上视图中,可查看并编辑组件树中已选中的组件属性。引入ConstraintLayoutConstraintLayout工具给布局添加一系列约束。constraint单词翻译过来也就是约
夜远曦白
·
2023-12-31 19:20
Kafka
系列3-
Kafka
架构
一.工作流程
Kafka
中消息是以topic进行分类的,Producer生产消息,Consumer消费消息,都是面向topic的。
只是甲
·
2023-12-31 19:15
深度剖析
Kafka
/RocketMQ 顺序消息的一些坑
我不记得有多少人问过以下这个问题了:我觉得这个问题问得很频繁,而且非常经典,在这里我就以
Kafka
为例子,说说我对
Kafka
顺序消息的一些理解吧,如有理解不对的地方麻烦留言指点一下。
fumi106
·
2023-12-31 19:14
sparkstreamnig实时处理入门
工程创建导入maven依赖 org.apache.spark spark-streaming_2.12 3.1.2 org.apache.spark spark-streaming-
kafka
Guff_hys
·
2023-12-31 18:47
spark
大数据
分布式
开发语言
后端
css3
jquery
上一页
27
28
29
30
31
32
33
34
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他