E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka消息中间件
架构设计内容分享(六十四):如果你当架构师,从0开始,如何做一个后台项目的架构?
目录总览一下:后台技术栈结构团队协助基础工具链的选型和培训搭建微服务开发基础设施选择合适的RPC框架选择和搭建高可用的注册中心选择和搭建统一配置中心选择和搭建高性能的缓存中间件选择和搭建高性能的
消息中间件
选择和搭建高性能的关系数据库选择和搭建高性能的
之乎者也·
·
2024-01-16 06:16
架构设计
内容分享
架构
Clickhouse引擎之
kafka
Clickhouse
kafka
引擎需要结合
kafka
使用,需要确保已经安装clickhouse和
kafka
实战环境:Clickhouse-server版本:22.4.5
Kafka
版本:
kafka
_2.13
pokefade
·
2024-01-16 05:15
kafka
clickhouse
java
clickhouse MergeTree 常用表引擎
CollapsingMergeTreeVersionedCollapsingMergeTreeAggregatingMergeTreeSummingMergeTreeRelacingMergeTreeReplicationReplicatedMergeTree集成引擎
kafka
guaoran
·
2024-01-16 05:41
ClickHouse
数据库
clickhouse
Clickhouse集成离线hive、实时
kafka
数据实操
Clickhouse集成hive一、官网介绍:1、clickhouse集成hive、
kafka
官网介绍:2、clickhouse支持的数据类型:二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语
·
2024-01-16 05:11
大数据
hive
数据仓库
big
data
kafka
seatunnel 消费
kafka
数据写入clickhouse
今天使用seatunnel消费
kafka
topic数据写入clickhouseseatunnel:2.1.0spark:2.4.
冰帆<
·
2024-01-16 05:41
seatunel
大数据
大数据
Kafka
和Flink:构建高吞吐量的实时数据流处理系统
Apache
Kafka
和ApacheFlink是两个非常重要的开源项目,它们分别是一个分布式流处理平台和一个流处理框架。
OpenChat
·
2024-01-16 05:20
AI大模型应用入门实战与进阶
AI大模型企业级应用开发实战
LLM大模型落地实战指南
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
Kafka
部署及使用
kafka
四个核心概念:producer、consumer、broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压:tar-zxvfzookeeper
Sx_Ren
·
2024-01-16 05:15
定位消息
寻找最新的offsetdefget_latest_offset():topic=f'{get_env_tag()}_broker_rateRule'_consumer=
Kafka
Consumer(bootstrap_servers
Mr韩_xianfeng
·
2024-01-16 03:37
zookeeper 从是啥到咋用
2、zookeeper下载安装下载安装参考之前搭建
Kafka
集群的博客:
kafka
丢弃zookeeper,使用kraft架构-CSDN博客3、zookeeper几种状态1)、LOOKING:参加竞选状态
知其_所以然
·
2024-01-16 03:05
java技术
zookeeper
zookeeper
Kafka
之生产者(Producer)
main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到
Kafka
Broker。
知其_所以然
·
2024-01-16 03:05
kafka
分布式
kafka
使用zookeeper完成集群搭建
本次搭建使用的是
Kafka
3.6.1,zookeeper3.9.1。
知其_所以然
·
2024-01-16 03:04
kafka
kafka
丢弃zookeeper,使用kraft架构
1、简介
Kafka
现有架构元数据在zookeeper中,运行时动态选举controller,由controller进行
Kafka
集群管理。
知其_所以然
·
2024-01-16 03:04
kafka
java技术
kafka
zookeeper
架构
日志采集传输框架之 Flume,将监听端口数据发送至
Kafka
1、简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,主要有以下几个部分组成。主要组件介绍:1)、FlumeAgent是一个JVM进程,它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成,Source、Channel、Sink。2)、Source是负责接收数据到FlumeAgent的组件。Source组件可以
知其_所以然
·
2024-01-16 03:03
java技术
kafka
flume
flume
大数据
消息中间件
介绍
常见的中间件:
消息中间件
(比如
Kafka
、RabbitMQ)、缓存中间件(比如Redis)。
xmh-sxh-1314
·
2024-01-16 03:49
java
Kafka
producer 解析
前言
Kafka
作为一个消息系统,其中很大的一个用途就是作为业务上的解耦,而它实现的模式就是经典的生产者消费者模式。毫无疑问,就出现了producer、consumer。
邹志全
·
2024-01-16 02:03
大觅网-概览
同时使用SpringBoot为项目基本骨架整个项目包含:Eureka注册中心Zuul网关验证Config分布式配置管理Ribbon负载均衡Feign接口调用Hystrix容错处理Sluth微服务追踪ELK+
Kafka
Tinner丶
·
2024-01-16 01:12
Java和Redis
Redis(RemoteDictionaryServer)是一个开源的内存数据结构存储系统,通常被用作缓存、数据库、
消息中间件
等。
Lin58936543
·
2024-01-16 00:49
java
redis
开发语言
kafka
和rocketMQ
1、数据可靠性
kafka
使用异步刷盘方式,异步ReplicationRocketMQ支持异步刷盘,同步刷盘,同步Replication,异步Replication2、严格的消息顺序
Kafka
支持消息顺序
托盘毛毛
·
2024-01-15 23:02
Flink定制化功能开发,demo代码
本文将通过flink的DataStream模块API,以
kafka
为数据源,构建一个基础测试环境;包含一个
kafka
生产者线程工具,一个自定义FilterFunction算子,一个自定义MapFunction
i7杨
·
2024-01-15 23:31
Flink
linq
c#
topic的leader显示为none的解决办法
受此博文启发:http://blog.selfup.cn/1698.html以单副本,3分区示例:
kafka
在zk中存放路径为/(路径自行验证)1、查看
kafka
的topic详细信息2、查看zk节点指定节点内部为空
王木头
·
2024-01-15 22:05
kafka
kafka
Kafka
——管理
Kafka
(命令行工具)详解
目录管理
Kafka
1、主题操作(
kafka
-topic.sh)1.1、创建主题(--create)1.2、增加分区(--alter)1.3、减少分区数量(无)1.4、删除主题(--delete)1.5、
吴声子夜歌
·
2024-01-15 22:04
kafka
kafka
命令行工具
Kafka
清空Topic
2、操作2.1检查当前topic的配置[root@localhost~]#/export/server/
kafka
/bin/
kafka
-configs.sh--zookeeperx.x.x.x:2181
王木头
·
2024-01-15 22:33
kafka
分布式
Go每日精选(2019-06-27)
1.Golang大杀器之性能剖析PProf2.
Kafka
集群Golang应用实例3.高并发下如何缩短响应时间?
凯文不上班
·
2024-01-15 22:04
二、RabbitMQ的核心组件及特性
RabbitMQ的概念RabbitMQ是一个
消息中间件
:它接受并转发消息。
我只会CRUD
·
2024-01-15 22:01
java-rabbitmq
rabbitmq
分布式
RabbitMQ 的核心组件&工作原理【很重要】
RabbitMQ最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面都表现不俗,也是目前社区活跃度较高的
消息中间件
之一。
m0_67394230
·
2024-01-15 22:56
java
java
后端
消息中间件
(RocketMQ、RabbitMQ、ActiveMQ、Redis、
kafka
、ZeroMQ)以及之间的区别
目录一、什么是
消息中间件
二、
消息中间件
的组成1、Broker2、Producer3、Consumer4、Topic5、Queue6、Message三、
消息中间件
通信模式1、点对点(
kafka
不支持这种模式
欢喜躲在眉梢里
·
2024-01-15 22:25
数据库
kafka
网络
中间件
MQ(Message Queue消息队列)
1.MQ
消息中间件
MQ全称MessageQueue(消息队列),是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法。
这玩意真费脑子
·
2024-01-15 22:16
java
spring
前端
maven
spring
boot
mybatis
MQ的主要组件和架构是怎样的?MQ的消息持久化机制是怎样的?
消息队列可以是一个独立的服务,也可以内置在
消息中间件
中。消息消费者(Consumer):负责从消息队列中接收消息并进行处理。消息
码农落落
·
2024-01-15 22:43
java基础
架构
mq
Java集成消息队列
Kafka
1.
Kafka
maven坐标在使用Maven构建Java项目时,你可以通过添加
Kafka
的Maven依赖来引入
Kafka
相关的库。
lichongxyz
·
2024-01-15 21:07
杂乱
java
kafka
linq
python 读写
kafka
1.安装py
kafka
pipinstallpy
kafka
2.生产者frompy
kafka
import
Kafka
Clientdefget_
kafka
_producer(hosts,topics):client
MusicDancing
·
2024-01-15 20:49
python
python
kafka
开发语言
Spring Boot2 集成 logback
kafka
Appender输出日志到
kafka
参考https://github.com/danielwegener/logback-
kafka
-appender1.使用maven引入所需要的jar包com.github.danielwegenerlogback-
kafka
-appender0.2.0
十点摆码
·
2024-01-15 18:56
Spring
Cloud
spring
boot
logback
kafka
kafkaAppender
日志收集
日志上报
【时光记:2023的心灵旅程】
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-15 18:16
s99
其他
年度总结
ActiveMQ 学习笔记
ActiveMQ学习笔记ActiveMQ介绍MQ是
消息中间件
,是一种在分布式系统中应用程序借以传递消息的媒介,常用的有ActiveMQ,RabbitMQ,
kafka
。
须臾亦无穷
·
2024-01-15 16:57
MQ
java
spring
Exception in thread "main"
kafka
.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for...
Exceptioninthread"main"
kafka
.zookeeper.ZooKeeperClientTimeoutException:Timedoutwaitingforconnectionwhileinstate
尘埃里的玄
·
2024-01-15 16:02
原型设计工具Axure RP结合内网穿透实现本地web页面公网访问协同办公
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-15 15:48
s20
cpolar
axure
前端
精确掌控并发:固定时间窗口算法在分布式环境下并发流量控制的设计与实现
本篇主要介绍分布式场景下常用的并发流量控制方案,包括固定时间窗口、滑动时间窗口、漏桶、令牌桶、分布式
消息中间件
等,并重点讲清楚固定时间窗口应用原理和应用场景,以及使用reids实现的核心代码。
隐墨_SC
·
2024-01-15 08:24
百图解码支付系统设计与实现
分布式
分布式限流
redis限流
固定时间窗口
固定窗口
几种mq实现延迟队列的方式
文章目录rocketmq:延时消息rabbitmq:死信队列
kafka
方案:多级分区举例优点rocketmq:延时消息rabbitmq:死信队列消息设定一段时间未消费就进入死信队列,然后消费者监听死信交换机
大牛写代码
·
2024-01-15 08:17
kafka
kafka
大数据
sparkStreaming 连接
kafka
的方式
sparkStreaming消费kafak有两种方式1:receiver方式2:direct方式receiver方式:1:sparkStreaming将
kafka
之中的数据读取到spark内存之中,然后对
流砂月歌
·
2024-01-15 06:59
Kafka
消费全流程
Kafka
消费全流程1.
Kafka
一条消息发送和消费的流程图(非集群)2.三种发送方式准备工作创建maven工程,引入依赖org.apache.
kafka
kafka
-clients3.3.1消费者/**
llp1110
·
2024-01-15 06:04
Kafka
kafka
linq
分布式
使用Spring Boot集成中间件:
Kafka
的高级使用案例讲解
使用SpringBoot集成中间件:
Kafka
的具体使用案例讲解导言在实际应用中,
Kafka
作为一种强大的分布式消息系统,广泛应用于实时数据处理和消息传递。
KingDol_MIni
·
2024-01-15 06:33
springboot
前后端技术
java
spring
boot
后端
Kafka
的核心原理
目录Tpoic的分区和副本机制分区副本消息存储机制和查询机制消息存储机制log文件和index文件的解析index文件内容基本结构查询机制
Kafka
中生产者数据分发策略随机分发策略指定分区策略Hash取模策略自定义分区策略轮询分发策略和粘性分发策略
Sisi525693
·
2024-01-15 06:32
kafka
分布式
Kafka
KAFKA
kafka
集群broker
kafka
集群运行后,每台服务器上的
kafka
称为一个broker节点处理消费者和生成者的请求生产者需要保存数据到
kafka
,就需要请求broker消费者需要从
kafka
中长跑路上crush
·
2024-01-15 06:02
Spark阶段
kafka
分布式
Kafka
、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点?
特性ActiveMQRabbitMQRocketMQ
Kafka
开发语言javaerlangjavascala单机吞吐量万级,比RocketMQ、
Kafka
低一个数量级同ActiveMQ10万级,支撑高吞吐
.L.JIN.Jie
·
2024-01-15 06:02
消息队列
kafka
activemq
rabbitmq
Zookeeper集群 +
Kafka
集群
Zookeeper概述//Zookeeper定义Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。//Zookeeper工作机制Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观
陆墨宁
·
2024-01-15 03:43
云计算课程学习
zookeeper
kafka
分布式
kafka
常用命令
1,启动zookeeper服务:zookeeper-server-start.sh-daemonzoo.cfg2,启动
kafka
服务:
kafka
-server-start.sh-daemonserver.properties3
scottzcw
·
2024-01-15 03:55
【中间件】
消息中间件
之
Kafka
一、概念介绍Apache
Kafka
是一个分布式流处理平台,用于构建实时数据管道和流应用。它可以处理网站、应用或其他来源产生的大量数据流,并能实时地将这些数据流传输到另一个系统或应用中进行处理。
孤之鹜
·
2024-01-15 01:06
中间件
中间件
kafka
分布式
linq
消息中间件
分布式引擎Elasticsearch本地部署并结合内网穿透远程访问
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-14 22:37
s20
cpolar
分布式
elasticsearch
大数据
MQ的作用【转】
一、什么是MQ,有什么用MQ是messagequeue,消息队列,也叫
消息中间件
,遵守JMS(javamessageservice)规范的一种软件。
小刘加油2023
·
2024-01-14 21:31
数据库
java
服务器
rabbitmq
1.1RabbitMQ简介1.2RabbitMQ核心概念1.2.1Producer(生产者)和Consumer(消费者)1.2.2Exchange(交换器)1.2.3Queue(消息队列)1.2.4Broker(
消息中间件
的服务节点
困兽犹斗z
·
2024-01-14 21:59
rabbitmq
java
分布式
ELK日志分析系统之(Filebeat 收集Nginx日志并写入
Kafka
缓存发送至Elasticsearch)
场景:与redis作为缓存服务器相比,虽然利用redis可以实现elasticsearch缓存功能,减轻elasticsearch的压力,但不支持的redis集群,存在单点问题,故利用
kafka
代替redis
zhl52306
·
2024-01-14 19:56
elasticsearch
kafka
缓存
elk
linux
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他