E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka消息中间件
基于 SpringBoot 实现多租户架构:支持应用多租户部署和管理
每天10:33更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析
消息中间件
RocketMQ
公众号-芋道源码
·
2024-01-19 16:09
spring
boot
架构
java
后端
spring
轻量化server-sent-events,java后端推送消息给客户端,并实现所有打开客户端,都收到此一条消息(类似
消息中间件
topic)...
后端与后端消息推送,直接使用
消息中间件
即可,后端->多个客户端推送消息,怎么推送呢?1.消息来源。
君千殇520
·
2024-01-19 16:35
数据库
java
websocket
ajax
session
德拓外包-大数据开发面试
都在公司的库里,银行金融项目谁让你把代码带出去的,就是公司业务保密1.自我介绍2.数据采集相关,怎么把
kafka
中的数据采集到mysql中?忘了3.hive,两张表的重复数据,怎么去重?
劝学-大数据
·
2024-01-19 16:03
大数据面试题
大数据
大数据学长面试之OPPO面试题
1)技术部分(1)SparkStreaming消费方式及区别,Spark读取HDFS的数据流程(2)
Kafka
高性能(3)Hive调优,数据倾斜(4)Zookeeper怎么避免脑裂,什么是脑裂。
大数据小理
·
2024-01-19 16:01
大数据1
大数据
面试
职场和发展
四.
Kafka
API实战
4.1环境准备1)在eclipse中创建一个java工程2)在工程的根目录创建一个lib文件夹3)解压
kafka
安装包,将安装包libs目录下的jar包拷贝到工程的lib目录下,并buildpath。
临时_01e2
·
2024-01-19 13:23
kafka
可视化客户端工具(
Kafka
Tool)的使用
一、下载下载地址:http://www.
kafka
tool.com/download.html我们的
kafka
版本是2.11(
kafka
_2.11-2.0.0-cdh6.1.1),下载
kafka
tool2.0.6
勤奋的超跑
·
2024-01-19 12:54
Kafka
如何避免消息丢失?
1.2同步发送一、前言为了避免出现消息丢失从而造成巨大的损失,有如下方法可以最大限度避免消息的丢失在避免出现消息丢失情况出现之前,首先要知道
kafka
消息发送和接受过程,才能更加清楚的知道消息丢失的原因
学会用脚编程
·
2024-01-19 12:01
kafka
分布式
信息与通信
SpringBoot整合
Kafka
一、首先下载windows版本的
Kafka
官网:Apache
Kafka
二、启动
Kafka
cmd进入到
kafka
安装目录:1:cmd启动zookeeer.
学会用脚编程
·
2024-01-19 12:59
spring
boot
kafka
后端
提升Raft以加速分布式键值存储
流行的系统,如
Kafka
、CockroachDB、MongoDB、Neo4j、Splunk等,都使用Raft来实现共识。系统要么是最终一致性的,要么是强一致性的。
小技术君
·
2024-01-19 11:53
分布式
spring boot学习第八篇:
kafka
监听消费
为了实现监听器功能pom.xml文件内容如下:4.0.0org.springframework.bootspring-boot-starter-parent2.6.4com.hmblogshmblogs0.0.1-SNAPSHOThmblogshmblogs81.2.81.16com.alibabadruid-spring-boot-starter${druid.version}org.sprin
veminhe
·
2024-01-19 11:37
Spring
Boot
spring
boot
学习
kafka
Spring Boot 整合
Kafka
并使用 @
Kafka
Listener 并发批量接收消息
注册
Kafka
ListenerContainerFactoryimportorg.apache.
kafka
.clients.CommonClientConfigs;importorg.apache.
kafka
.clients.consumer.ConsumerConfig
lei_charles
·
2024-01-19 10:27
RocketMQ和
Kafka
的差异对比
Broker差异1:主从差异:
kafka
的master/slave是基于partition维度的,而rocketmq是基于broker维度的;
kafka
的master/slave是可以切换的,而rocketmq
源程序程序员
·
2024-01-19 09:33
filebeat信息采集
主配置文件,采集到的信息放到
kafka
cat>filebeat.yml/etc/filebeat/inputs.d/nginx.ymlfilebeat.ymlfilebeat.yml/etc/filebeat
莫渊博-天下无病
·
2024-01-19 08:30
kafka
分布式
关于Filebeat收集XML格式日志推送到
Kafka
中标签被转义的问题
关于Filebeat收集XML格式日志推送到
Kafka
中标签被转义的问题问题描述错误的解决思路偶然的机会这里记录一下提问问题的方法问题描述我在公司搭建的有个ELK监控的日志,最近需要解决一些日志收集的问题
小猴子的技术笔记
·
2024-01-19 08:29
工具使用
kafka
filebeat
转义
xml
RocketMQ
文章目录一、RocketMQ概述RocketMQ是一个开源的分布式
消息中间件
,最初由阿里巴巴集团开发。
人生就像一场戏!
·
2024-01-19 07:00
消息中间件
rocketmq
kafka
的堆内存大小对
kafka
的影响以及为什么堆内存大一些
kafka
会更稳定
对于
Kafka
Broker,它是一个由Java编写的分布式消息系统,因此
Kafka
Broker的性能和稳定性会受到堆内存大小的影响。
暴走的贼宇
·
2024-01-19 07:48
kafka
分布式
kafka
之集群工作机制理解
回想一下,我们搭建
kafka
集群是如何搭建?修改
kafka
得配置文件,多个
Kafka
服务注册到同一个zookeeper集群上的节点,会自动组成集群。
瑜伽娃娃
·
2024-01-19 07:43
Kafka
kafka
分布式
kafka
消费者
Kafka
消费者从属于消费者组,一个组里的消费者订阅的是同一个topic,每个消费者接收topic一部分分区的消息可以为每一个需要获取一个或多个topic全部消息的应用程序创建一个消费者组,每个消费者可以消费若干个分区
error0318
·
2024-01-19 06:00
kafka
kafka
分布式
kafka
消费相关问题(GPT回答版本)
kafka
消费相关问题(GPT回答版本)在Java中,要避免重复消费
Kafka
消息,可以使用以下方法1.使用消费者组:在设置
Kafka
消费者时,可以指定一个消费者组。
梦魇星虹
·
2024-01-19 06:22
Java
Kafka
kafka
gpt
linq
Kafka
-多线程消费及分区设置
目录一、
Kafka
是什么?
御坂10027
·
2024-01-19 06:51
工作日常
kafka
kafka
Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes
我们支持的资产类型不仅有关系数据库表,也支持
Kafka
主题,hdfs上的文件等。
OkGogooXSailboat
·
2024-01-19 06:19
java
json
Maxwell介绍
一、介绍介绍:它读取MySQLbinlog并将数据更改作为JSON写入
Kafka
、Kinesis和其他流媒体平台(目前支持:
kafka
、RabbitMQ、Redis、file、Kinesis、Nats、
有人看我吗
·
2024-01-19 06:42
大数据
大数据
storm统计服务开启zookeeper、
kafka
、Storm(sasl认证)
部署storm统计服务开启zookeeper、
kafka
、Storm(sasl认证)当前测试验证结果:单独配置zookeeper支持acl设置用户和密码,在storm不修改代码情况下和
kafka
支持当
kafka
平凡的运维之路
·
2024-01-19 05:53
程序人生
部署storm统计服务开启zookeeper、
kafka
(ACL认证)
部署storm统计服务开启zookeeper、
kafka
(ACL认证)当前部署环境服务版本服务IP模块版本信息10.130.41.42zookeeperzookeeper-3.6.310.130.41.43
kafka
kafka
平凡的运维之路
·
2024-01-19 05:23
storm
zookeeper
kafka
HIVE周期合数功能
实现思路:使用datax抽取一张临时表c.o_a_l_mytable,用临时表和原表o.o_a_l_mytable进行比对,将需要纠正的数据查询出,发送
KAFKA
等,统一进行数据Sink。
pp_lan
·
2024-01-19 03:26
database
FineBI实战项目一(25):实战项目一总结
没有集群,hdfs、hive、spark、
kafka
、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致,以便后期出现问题排查。mysql同步到数仓,数仓
不死鸟.亚历山大.狼崽子
·
2024-01-19 02:39
FineBI
finebi
kafka
学习笔记-- 文件清理策略与高效读写数据
如有侵权、联系速删视频教程链接:【尚硅谷】
Kafka
3.x教程(从入门到调优,深入全面)文章目录文件清理策略delete清理策略:将过期数据删除compact清理策略:将过期数据压缩高效读写数据文件清理策略
向着百万年薪努力的小赵
·
2024-01-19 01:25
#
Kafka学习--入门到调优
kafka
学习
笔记
SofaMQ一些常用的API
SofaMQ的十五种常用的API引言SofaMQ作为阿里巴巴开源的
消息中间件
,提供了丰富的API以支持各种消息传递场景。在本文中,我们将介绍SofaMQ的十五种常用API,并通过实例演示其用法。
码农阿豪
·
2024-01-19 00:33
好“物”分享
sofaMQ
消息队列
消息中间件
作用
一:消息队列的主要作用是什么?1.消息队列的特性:业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,都是支持其容灾能力的重要基本特性。性能,这个不必多说了,消息队
xmh-sxh-1314
·
2024-01-18 23:25
java
八年面试生涯,整理了一套
Kafka
面试题
1.
Kafka
的设计时什么样的呢?
编辑小猿
·
2024-01-18 22:04
为什么需要
消息中间件
?
1.
消息中间件
是什么消息队列(MQ)是一种系统间相互写作的通信机制,目前业界通常由两种方式来实现系统间通信,其中一种是基于远程过程调用的方式;另一种是基于消息队列的方式。
coffee_babe
·
2024-01-18 21:39
消息中间件
中间件
java
消息中间件
之RabbitMQ
1.RabbitMQ简介1.基于AMQP协议Erlang语言开发的一款
消息中间件
,客户端语言支持比较多,比如Python,Java,Ruby,PHP,JS,Swift.运维简单,灵活路由,但是性能不高,
coffee_babe
·
2024-01-18 21:07
消息中间件
rabbitmq
分布式
java
中间件
【算法Hot100系列】接雨水
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-18 20:02
s6
算法与数据结构
算法
Kafka
收发消息核心参数
Kafka
收发消息核心参数1.基础的客户端利用maven简单尝试一下
Kafka
的代码1.引入Maven依赖org.apache.
kafka
kafka
_2.133.4.02.消息发送者代码publicclassMyProducer
伊泽瑞尔ts
·
2024-01-18 19:07
java
kafka
kafka
java
基于腾讯云服务器的Docker环境,使用logstash同步的
Kafka
中数据时报错partitions have leader brokers without a matching listener
发现是ZK问题,重启ZK后,再同步
kafka
中数据,logstash日志就正常了。
dkgee
·
2024-01-18 18:01
elk
【
Kafka
】
Kafka
介绍、架构和概念
目录
Kafka
介绍
Kafka
优势
Kafka
应用场景
Kafka
基本架构和概念ProducerConsumer/ConsumerGroupBrokerZooKeeperTopicPartitionReplicasOffsetsegment
Kafka
Ethan-running
·
2024-01-18 18:02
#
kafka
kafka
分布式
消息队列
群晖NAS搭建WebDav结合内网穿透实现公网访问本地影视资源
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-18 18:19
s20
cpolar
cpolar
消息中间件
面试题
为什么使用消息队列二.RabbitMQ1.RabbitMQ如何保证消息不丢失2.RabbitMQ消息的重复消费问题3.RabbitMQ延迟队列4.RabbitMQ消息堆积5.RabbitMQ高可用机制三.
Kafka
1
黑暗对我避而远之
·
2024-01-18 18:47
面试题
中间件
伯克利开源 Confluo,吞吐量是
Kafka
的 4 到 10 倍
近日伯克利RISELab开源了一个多数据流实时分布式分析系统Confluo,它即是一个网络监控和诊断框架,也可以作为时序数据库和发布订阅消息系统。源码地址:https://github.com/ucbrise/confluo当下,类似基于终端主机的网络监控系统、IoT设备传感器程序等应用,其后端的服务器每秒都可以捕获数千万个数据点。这些数据被用于在线查询,实现可视化与监控,或者用于离线查询,进行故
OSC开源社区
·
2024-01-18 16:37
sparkstreaming实时写入hive
pom文件spark-streaming-
kafka
-0-10_2.112.1.0spark-core_2.11spark-sql_2.11scala-library采用的是scala2.11.8实现逻辑
会飞的蜗牛66666
·
2024-01-18 16:11
Kafka
消息中间件
保证消息不丢失
Kafka
的整体架构非常简单,是显式分布式架构,主要由producer、broker(
kafka
)和consumer组成。imagePro
long_c2b7
·
2024-01-18 15:13
RabbitMQ基础知识
RabbitMQ介绍RabbitMQ是基于Erlang语言开发的开源消息通信中间件,是一个高性能的异步通讯组件官网地址:RabbitMQ官网2.MQ技术对比RabbitMQActiveMQRocketMQ
Kafka
Java界第一深情
·
2024-01-18 15:10
RabbitMQ
rabbitmq
分布式
保证
Kafka
消息有序性
一、
Kafka
特性写入同一个partion分区中的数据是一定有顺序的
kafka
中一个消费者消费一个partion的数据,消费者取出数据时,也是有顺序的二、保证消息
Kafka
消息有序性在生产者端,应保证消息被写入同一分区
wanger61
·
2024-01-18 15:05
Kafka
kafka
分布式
大数据 -
Kafka
系列《一》-
Kafka
基本概念
目录1.1什么是
kafka
1.2
Kafka
可以用来做什么1.3
kafka
的特点1.高吞吐量、低延迟2.可扩展性3.持久性、可靠性4.容错性5.高并发1.4
Kafka
的基本架构1.Producer:生产者
王哪跑nn
·
2024-01-18 15:05
kafka
大数据
大数据
kafka
分布式
Kafka
生产者
1.acks如果acks=0,生产者在成功写入消息之前不会等待任何来自服务器的响应。缺点:如果当中出现了问题,导致服务器没有收到消息,那么生产者就无从得知,消息就丢失了优点:因为生产者不需要等待服务器的响应,所有他可以以网络能够支持的最大速度发送消息,从而达到很高的吞吐量如果acks=1,只要集群的leader节点收到消息,生产者就会收到一个来自服务器的成功响应如果无法到达首领节点(如leader
error0318
·
2024-01-18 15:04
kafka
kafka
分布式
Kafka
-消费者-Consumer Group Rebalance设计
在同一个ConsumerGroup中,同一个Topic的不同分区会分配给不同的消费者进行消费,那么为消费者分配分区的操作是在
Kafka
服务端完成的吗?分区是如何进行分配呢?
Andy技术支援
·
2024-01-18 14:34
队列
kafka
分布式
Kafka
-消费者-
Kafka
Consumer分析
与
Kafka
Producer不同的是,
Kafka
Consumer不是一个线程安全的类。为了便于分析,我们认为下面介绍的所有操作都是在同一线程中完成的,所以不需要考虑锁的问题。
Andy技术支援
·
2024-01-18 14:34
队列
kafka
分布式
Kafka
-Sender分析
通过前面的分析我们知道,主线程通过
Kafka
Producer.send方法将消息放入RecordAccumulator中缓存,并没有实际的网络I/O操作。网络I/O操作是由Sender线程统一进行的。
Andy技术支援
·
2024-01-18 14:32
队列
kafka
linq
分布式
Windows安装
Kafka
前言:需要你的电脑本地环境装有Javajdk一、安装Zookeeper1、官网下载安装包地址:http://zookeeper.apache.org/releases.html#download选择任意一个版本image-20210426221154247点击链接即可下载image-202104262212390792、解压文件进入conf目录D:\codeapp\apache-zookeeper
过期罐头阿卓
·
2024-01-18 10:53
Redis安装与配置 LInux Centos
1.介绍RedisRedis是完全开源免费的,遵守BSD协议,内存中的数据结构存储系统,它可以用作数据库、缓存和
消息中间件
。特点:支持数据的持久化,可以将内存中的数据保存到硬盘,在重启后再次加载使用。
嘴强程序员
·
2024-01-18 10:27
redis
linux
centos
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他