E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka选举
Centos安装
Kafka
(KRaft模式)
1.KRaft引入
Kafka
是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
高过蓝天的云
·
2023-12-30 14:45
centos
kafka
linux
基于win10搭建
Kafka
+Zookeeper+
Kafka
Manager+集成SpringBoot实现(一)
基于win10搭建
kafka
_2.13-2.8.0+Zookeeper3.7.0+
Kafka
Manager1.3.3.7+集成SpringBoot实现
Shawn_F
·
2023-12-30 12:10
Flink实时电商数仓(九)
用户注册汇总表需求分析统计各窗口的注册用户数,写入Doris思路分析读取
kafka
用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入
十七✧ᐦ̤
·
2023-12-30 11:16
flink
大数据
kafka
实现延迟消息
背景我们知道消息中间件mq是支持延迟消息的发送功能的,但是
kafka
不支持这种直接的用法,所以我们需要独立实现这个功能,以下是在
kafka
中实现消息延时投递功能的一种方案
kafka
实现延时消息主要的思路是增加一个检测服务
lixia0417mul2
·
2023-12-30 11:45
kafka
kafka
分布式
Redis哨兵
为了解决master节点宕机问题,
选举
salve节点为新的master节点。
不会仅此而已
·
2023-12-30 11:51
redis
java
笔记
数据库
python获取钉钉日志数据_python实现对
kafka
中日志数据监控报告(钉钉)
该脚本是作统计fromdatetimeimportdatetime,timedeltaimportosfromdingtalkchatbot.chatbotimportDingtalkChatbotfrom
kafka
import
Kafka
Consumerimportre
weixin_39631445
·
2023-12-30 10:40
python获取钉钉日志数据
RedLock算法和底层源码分析
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring源码、JUC源码、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2023-12-30 09:09
数据库技术
redis
数据库
缓存
分布式
腾讯经典面试题-如何做一个迷你版的微信抢红包呢?
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring源码、JUC源码、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2023-12-30 09:09
数据库技术
微信
redis
缓存
Redis的缓存过期淘汰策略
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring源码、JUC源码、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2023-12-30 09:38
数据库技术
缓存
redis
数据库
初识linux
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring源码、JUC源码、
Kafka
原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话,请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪
·
2023-12-30 09:37
运维
linux
服务器
Flink实时电商数仓(八)
用户域登录各窗口汇总表主要任务:从
kafka
页面日志主题读取数据,统计七日回流用户:之前活跃的用户,有一段时间不活跃了,之后又开始活跃,称为回流用户当日独立用户数:同一个用户当天重复登录,只算作一个独立用户
十七✧ᐦ̤
·
2023-12-30 09:55
flink
linq
数据库
Docker搭建
kafka
集群
Docker搭建
kafka
集群
kafka
概念broker:消息中间件处理节点,一个broker就是一个
kafka
节点,一个或者多个broker就组成了一个
kafka
集群topic:
kafka
根据topic
whhwch1986
·
2023-12-30 09:11
大数据
docker
kafka
容器
记录一次云服务器使用docker搭建
kafka
的过程
创建网络一定要将zookeeper注册中心与
kafka
建在一个network中,不然在springboot集成kakfa的demo测试代码中进行消息发送时会超时,报错:Exceptionthrownwhensendingamessagewithkey
ZYNORL
·
2023-12-30 09:32
java
docker
kafka
容器
zoo
zookeeper
java
spring
boot
NAST概述
不同于Java社区的
kafka
,nats偏于redis式的消息中间件,不不像
Kafka
式的可以持久化。NATS原来是使用Ruby编写,可以实现每秒150k消息,后来使用Go语言重
背帆
·
2023-12-30 08:52
大数据
云原生
中间件
后端
分布式
私有部署ELK,搭建自己的日志中心(六)-- 引入
kafka
对采集日志进行削峰填谷
一、背景首先,要说明一点,elk日志中心,是可以缺少
kafka
组件的。其次,如果是研发环境下,机器资源紧张的情况下,也是可不部署
kafka
。
天草二十六_简村人
·
2023-12-30 06:04
elk
kafka
分布式
java
logback
运维
flink 消费
Kafka
空指针问题
flink消费
Kafka
空指针问题error:2021-12-0210:51:55,644WARNorg.apache.flink.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁
·
2023-12-30 06:30
技术分享
个人笔记
kafka
flink
apache
大数据技术之Debezium
Debezium依赖于
kafka
上,所以在安装Debezium时需要提前安装好Zookeeper,
Kafka
,以及KakfaConnect。
青涩的芒果汁
·
2023-12-30 06:30
技术分享
Kafka
常用消费者命令
bin/
kafka
-console-consumer.sh--bootstrap-serverxxx05:9092--topicxxx_mongo.xxx2021--from-beginningbin/
青涩的芒果汁
·
2023-12-30 06:00
个人笔记
kafka
分布式
zookeeper
ELK-Nginx+logstash-kafa-logstash-elasticsearch
把Nginx的日志由logstash收集在写到kafa在由logstash抽出给elaticsearch一配置logstash写入
kafka
[root@linux-node3~]#cd/etc/logstash
zhao34yan1
·
2023-12-30 05:11
ELK
elasticsearch
kafka
spring 运行时替换 单例bean 实现
前言
kafka
、redis这些中间件可能会出现超时,这时候我们可能会需要修改他们的链接地址,此时就需要动态替换这些bean思路首先要知道这bean是怎么放到spring容器中的,是放在哪里的?
帆影匆匆
·
2023-12-30 05:38
spring
boot
spring
java
linux查询
kafka
日志,利用Rsyslog进行日志收集到
Kafka
项目需要将日志收集起来做存储分析,数据的流向为rsyslog(收集)->
kafka
(消息队列)->logstash(清理)->es、hdfs;今天我们先将如何利用rsyslog进行日志收集到
kafka
。
李玉北
·
2023-12-30 05:37
linux查询kafka日志
rsyslog对接
kafka
对于日志收集统计分析方案现在主流的有ELKredis
kafka
flume+大数据平台,ELK我们以后再介绍,这里先简单介绍下rsyslog对接
kafka
kafka
中的术语Broker
Kafka
集群包含一个或多个服务器
weixin_33690963
·
2023-12-30 05:37
大数据
python
运维
ELK+
kafka
集群实战
ELK+
Kafka
集群前言前言业务层可以直接写入到
kafka
队列中,不用担心elasticsearch的写入效率问题。
ALAVVY
·
2023-12-30 05:36
linux
企业日志大数据分析系统ELK+
KAFKA
实现【转】
但是只用了一台Redis在中间作为消息队列,以减轻前端es集群的压力,Redis的集群解决方案暂时没有接触过,并且Redis作为消息队列并不是它的强项;所以最近将Redis换成了专业的消息信息发布订阅系统
Kafka
weixin_30449453
·
2023-12-30 05:36
java
运维
git
ELK+Filebeat+
Kafka
搭建Oracle数据库日志平台
数据流向结构图2注意:需要JDK支持安装配置Filebeat收集日志文件2.1安装配置#解压tar-xffilebeat-*-linux-x86_64.tar.gz-C/ups/app/elasticcd/ups/app/elasticln-sfilebeat-*filebeat2.2配置数据采集conf文件filebeat.inputs:-type:logenabled:truepaths:-/
木子87
·
2023-12-30 05:06
linux
nginx
运维
nginx 日志用rsyslog-
kafka
发送
rsyslogv8.7.0才可以支持
kafka
centos7直接安装rsyslog-
kafka
yum-yinstallrsyslog-
kafka
如果centos6就比较麻烦不能直接用yum来升级rsyslog
jacketyding
·
2023-12-30 05:04
elk
日志收集之rsyslog
kafka
配置
source=drahttps://www.jianshu.com/p/8384f6cd0f22背景:最近项目需要上监控,经过规划决定用:rsyslog/telegraf+
kafka
+influxdb+
郎帅
·
2023-12-30 05:03
日志监控
万字长文利用ELK+
kafka
分析Nginx日志生产实战(高清多图)
一、服务介绍1.1、ELKELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能
Richardlygo
·
2023-12-30 05:02
日志分析平台
elk
kafka
nginx
基于Rsyslog+
Kafka
+Flink+Clickhouse的高性能日志采集、分析、汇聚存储方法
在上一篇博文中介绍了简单的实用负载均衡与实时监控方案(tengine+rsyslog+goaccess),功能上是满足日常需要的。但是用户的需求是没有止境的,更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV,各功能模块PV、UV,区域PV、UV,各手机型号、应用版本的使用情况,平台使用的趋势分析,功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者
·
2023-12-30 05:02
理论与实践
微服务
负载均衡
运维
nginx+rsyslog+
kafka
+clickhouse+grafana 实现nginx 网关监控
需求我想做一个类似腾讯云网关日志最终以仪表方式呈现,比如说qps、p99、p95的请求响应时间等等流程图数据流转就像标题nginx---->rsyslog---->
kafka
—>clickhouse—>
帆影匆匆
·
2023-12-30 05:59
nginx
kafka
clickhouse
猴子选大王 java_猴子选大王
猴子选大王M只猴子要选大王,
选举
办法如下:所有猴子按1,2……n编号围成一圈,从第一号开始顺序报数1,2……m,凡是报m号的退出圈外,如此循环报数直到圈内只剩一只猴子时这只猴子就是大王。
weixin_35871890
·
2023-12-30 04:27
猴子选大王
java
算法设计与分析实验三:猴子选大王(Java语言)
题目:不同于自然界猴子选大王的方式,这里的猴子是这样
选举
它们的大王的,17只猴子围成一圈,从某只开始报数1-2-3-1-2-3-···报“3”的猴子就被淘汰,游戏一直进行到圈内只剩一只猴子它就是猴大王了分析
VichyLeong
·
2023-12-30 04:23
算法设计与分析
java
算法
数据结构
为一句问候竖起大拇指
原来,这是小区物业为了倡导文明和谐小区而举行的
选举
活动,通过投票来选出一位大家心目中的温暖人物。一下子,各家奔走相告。原本安静的像睡着了的小区因此而睁开了双眼。
思晚秋
·
2023-12-30 00:40
Kafka
:本地设置
这是设置
Kafka
将数据从Elasticsearch发布到
Kafka
主题的三部分系列的第一部分;该主题将被Neo4j使用。第一部分帮助您在本地设置
Kafka
。
前网易架构师-高司机
·
2023-12-30 00:35
游戏服务器开发专栏
kafka
elasticsearch
分布式
PiflowX组件-WriteTo
Kafka
WriteTo
Kafka
组件组件说明将数据写入
kafka
。
暗影八度
·
2023-12-29 23:14
大数据
hadoop
spark
flink
PiflowX组件-ReadFrom
Kafka
ReadFrom
Kafka
组件组件说明从
kafka
中读取数据。
暗影八度
·
2023-12-29 23:13
spark
flink
big
data
大数据
SpringBoot----日志框架和配置,
kafka
视频分析
如何让系统中所有日志统一使用slf4j将系统中其他的日志框架先排除出去用中间包替换原有的日志框架我们导入slf4j其他的实现SpringBoot日志关系=============================================================================![在这里插入图片描述](https://img-blog.csdnimg.cn/e41ba6
m0_64867092
·
2023-12-29 23:11
程序员
面试
java
后端
第十二节:Stream(消息驱动)和Sleuth(分布式请求链路跟踪)
一、Stream(消息驱动)消息驱动概述:MQ(消息中间件):ActiveMQ、RabbitMQ、RocketMQ、
kafka
MQ解决问题:多种MQ适配(切换、维护、开发)屏蔽底层消息中间件的差异,降低切换成本
逆流而上jiao
·
2023-12-29 21:52
JavaCloud【尚硅谷】
java
rabbitmq
spring
boot
中间件
十五.SpringCloud极简入门-Spring Cloud Stream消息驱动
SpringCloudStream介绍1.1.为什么要用SpringCloudStream在项目开发的过程中,由于需求的变更可能会导致MQ中间件的更换,比如我们最开始使用的RabbitMQ,后续需要更换为
Kafka
墨家巨子@俏如来
·
2023-12-29 21:52
《Spring
Cloud
Netflix》
stream
cloud
java
spring
rabbitmq
SpringCloud第十一节内容精简,SpringCloud Stream消息驱动
平时用的消息组件有,RabbitMQ,RocketMQ,
Kafka
,ActiveMQ用消息驱动是为了屏蔽底层消息中间件的差异,降低切换版本,统一消息的编程模型举个例子,你不需要学习mysql,sqlserver
bailaoshi666
·
2023-12-29 21:19
SpringCloud
消息驱动之背景概述(十九)
消息中间件当我们的消息生产者产生了消息之后,就把消息推送到RabbitMQ或
Kafka
这样的消息中间件上,消息消费者实现了对消息中间件的监听,当侦听到了消息的时候,就去获
MrSpirit
·
2023-12-29 21:49
Spring
Cloud
Spring
Cloud
消息中间件
第十一章 Stream消息驱动
底层不管是什么中间件如
kafka
、rabbitmq,Stream
我愿为一粒沙
·
2023-12-29 21:18
spring
cloud
SpringBoot 中使用
Kafka
的简单入门
0.在使用Spiringboot集成
Kafka
之前需要将
kafka
的服务端程序(包括jre、zookeeper、
kafka
三部分)安装好。
marksman_e902
·
2023-12-29 17:52
蒙古帝国宗王阔列坚的“生死安答”——王德真
太祖元年1206年,即金国泰和六年,太祖铁木真被蒙古诸部
选举
为诸部之汗,号成吉思汗,蒙古诸部一统建立了蒙古帝国。经过了数百年战乱后的蒙古高原诸部,举国上下全部都是战斗经验满级的战士。
树叶天天要过河
·
2023-12-29 14:04
kafka
有几种数据保留的策略?
kafka
有几种数据保留的策略?在Apache
Kafka
中,有几种数据保留策略用于定义消息保存的时长和数据保留的规则。这些策略主要影响
Kafka
中的Topic。
学习资源网
·
2023-12-29 14:28
kafka
分布式
Kafka
初识
kafka
是由LinkedIn公司开发的,是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统,它的最大特点就是可以实时的处理大量数据以满足各种需求场景:比如基于Hadoop的批处理系统
Advancer-lbh
·
2023-12-29 14:56
消息中间件
kafka
分布式
消息中间件
OSPF ROUTER-ID-新版(15)
目录整体拓扑操作步骤1.INT验证Router-ID
选举
规则1.1查看路由器Router-ID1.2配置R1地址1.3查看R1接口信息1.4查看R1Router-ID1.5删除接口IP并查看Router-ID1.6
℡ 萧
·
2023-12-29 14:21
HCIA
网络
网络安全
信息与通信
网络协议
智能路由器
计算机网络
安全
kafka
容灾演练的方案
背景
kafka
可以通过MirrorMaker工具把集群的数据从一个集群同步到另一个集群,通过在另一个数据中心创建灾备集群的方式可以做到容灾的效果,但是如果我们不通过如此重量级的工具也想达到容灾演练的目的
lixia0417mul2
·
2023-12-29 13:57
kafka
kafka
分布式
2020-03-09
需要注意:像
Kafka
和RocketMQ这样的消息队列,它是不保证在Topic上的严格顺序的,只能保证
zhchzh
·
2023-12-29 13:29
kafka
消费组下的消费者离开组
主要内容本文是从大型互联网系统的应用角度探讨分布式缓存的。本文站在原理、框架、架构、案例等多个视角对分布式缓存进行了探讨。互联网系统随着容量需求的陡增,许多看似简单的存储类场景都面临着巨大的容量问题和稳定性风险,而其中大部分问题都可以通过对缓存的合理使用来规避。读者从本文中将会获得应对这些问题的思路,也会对分布式缓存有一个体系化的认识。本文内容共分为三个部分,16章的内容,全文按照从理论到实现,再
上班划水小能手
·
2023-12-29 12:21
程序员
面试
后端
java
上一页
34
35
36
37
38
39
40
41
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他