E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
消息队列--kafka
记一次Flink通过
Kafka
写入MySQL的过程
一、前言总体思路:source-->transform-->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。思路:pom部分放到最后面。二、方案及代码实现2.1Source部分Source部分构建一个web对象用于保存数据等操作,代码
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
Zookeeper集群+
Kafka
集群
目录Zookeeper1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点4.Zookeeper数据结构5.Zookeeper应用场景统一命名服务统一配置管理统一集群管理服务器动态上下线软负载均衡6.Zookeeper选举机制第一次leader选举非第一次选举7.部署Zookeeper集群安装Zookeeper在每个节点上创建数据目录和日志目录配置Zookeeper启
Ybaocheng
·
2024-01-24 06:20
zookeeper
kafka
分布式
Redis常见面试题
Redis常见面试题什么是redisredis是一种基于内存的数据库,对数据的读写操作都是在内存中完成的,因此读写速度非常快,常用于缓存,
消息队列
,分布式锁等场景redis提供了多种数据类型来支持不同的业务场景
入 梦皆星河
·
2024-01-24 06:25
redis
mysql
数据库
RabbitMQ之交换机
它接收生产者发送的消息并将这些消息路由到
消息队列
中一.关于交换机1.交换机工作原理在RabbitMQ中生产者发送消息不会直接将消息投递到队列中,而是先将消息投递到交换机中,
ChatYU.
·
2024-01-24 05:11
rabbitmq
网络
分布式
docker
容器
(5)消息分发策略
在介绍
kafka
的分区策略之前,先看看几个简单的概念1.topic在
kafka
中,topic是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到
kafka
集群的消息都有一个类别。
Mrsunup
·
2024-01-24 05:36
消息队列
RabbitMQ.02.交换机的讲解与使用
目录RabbitMQ中交换机的基本概念与作用解析交换机的作用:交换机的类型:直连交换机(DirectExchange):将消息路由到与消息中的路由键(RoutingKey)完全匹配的队列。主题交换机(TopicExchange):使用通配符匹配路由键,允许更灵活的消息路由。扇形交换机(FanoutExchange):将消息广播到与交换机绑定的所有队列,无视消息的路由键。头部交换机(HeadersE
暴躁小段额
·
2024-01-24 04:28
rabbitmq
java-rabbitmq
Storm和hadoop对比及storm组件
MR数分钟,数小时不会主动停止终于完成的时候storm优点:跨语言,可伸缩,低延迟,秒级容错核心概念:Tuple主要数据结构,有序元素的列表streamtuple的序列spouts数据流源头,可以读取
kafka
smartjiang
·
2024-01-24 02:01
spring-boot RabbitMQ 根据配置文件动态创建(exchange)交换机、(queue) 队列
项目中用到
消息队列
rabbitmq,就会配置交换机、队列以及队列绑定,然而每次新增需求,这些配置都得来一遍,特别繁琐。
池边絮
·
2024-01-24 00:18
RabbitMQ入门实战
RabbitMQ是一个开源的消息中间件,实现了高级
消息队列
协议(AMQP),用于在分布式系统中进行消息传递。它能够在应用之间传递消息,解耦应用组件,提高系统的可伸缩性和可维护性。
Memory_2020
·
2024-01-24 00:37
rabbitmq
分布式
2.android消息机制-native
1几个简单类MessageQueue—里面有一个Looper,和java层的MessageQueue同名;NativeMessageQueue—MessageQueue的继承类,native层的
消息队列
MrPeng1991
·
2024-01-23 22:29
消息机制
android
Kafka
-服务端-API层
Handler线程属于
Kafka
的API层,Handler线程对请求的处理通过调用
Kafka
Apis中的方法实现。
Andy技术支援
·
2024-01-23 21:29
队列
kafka
分布式
Rabbit MQ工作模式
1.简单模式简单模式就是
消息队列
的最直观的收发消息 com.rabbitmq amqp-client 3.6.5packagecom.qf.rabbitmq.util;importcom.rabbitmq.client.Connection
十点 vha
·
2024-01-23 20:02
rabbit
mq
开发语言
后端
rabbitmq
RabbitMQ死信队列
1.死信队列死信队列是一种特殊的
消息队列
,用来存储无法被正常消费的消息,常被用来实现延迟处理,异常消息处理等,提高了系统的可伸缩性和容错性,能够应对高并发和异常消息。
Java小生不才
·
2024-01-23 19:48
中间件
Spring
Boot
Java
rabbitmq
ruby
分布式
Kafka
-服务端-副本机制
Kafka
从0.8版本开始引入副本(Replica)的机制,其目的是为了增加
Kafka
集群的高可用性。
Andy技术支援
·
2024-01-23 19:17
队列
kafka
分布式
Kafka
-服务端-
Kafka
Controller
Broker能够处理来自
Kafka
Controller的LeaderAndIsrRequest、StopReplicaRequest、UpdateMetadataRequest等请求。
Andy技术支援
·
2024-01-23 19:17
队列
kafka
debian
分布式
Kafka
-服务端-网络层
Reactor模式
Kafka
网络层采用的是Reactor模式,是一种基于事件驱动的模式。熟悉Java编程应该了解JavaNIO提供了实现Reactor模式的API。
Andy技术支援
·
2024-01-23 19:16
队列
kafka
分布式
消息队列
面试系列-02
1.RabbitMQ实现消息持久化需要满足哪些条件?RabbitMQ要实现消息持久化,必须满足以下4个条件:1、投递消息的时候durable设置为true,消息持久化,代码:channel.queueDeclare(x,true,false,false,null),第2个参数设置为true持久化;2、设置投递模式deliveryMode设置为2(持久),代码:channel.basicPublis
梦睡了
·
2024-01-23 19:29
rabbitmq
面试
消息队列
面试系列-01
1.什么是
消息队列
?MQ全称为MessageQueue
消息队列
(MQ)是一种应用程序对应用程序的通信方法。
消息队列
中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。
梦睡了
·
2024-01-23 19:28
rabbitmq
面试
算子:详细篇
目录一、执行环境1.1创建执行环境1.2执行模式二、源算子2.1从集合中读取数据2.2从文件读取数据2.3从socket读取数据2.4从
kafka
读取数据三、转换算子3.1基本转换算子(1)映射(map
莫噶
·
2024-01-23 18:29
flink
报错Caused by: org.apache.
kafka
.common.errors.TimeoutException: Timeout of 60000ms expired before the
Exceptioninthread"main"org.apache.flink.runtime.client.JobExecutionException:Jobexecutionfailed.atorg.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:144)atorg.apache.flin
莫噶
·
2024-01-23 18:58
报错
apache
kafka
分布式
RabbitMQ
1.
消息队列
简介
消息队列
(MessageQueue,简称MQ),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message而已。
愚人钊呀
·
2024-01-23 18:00
MQ
rabbitmq
分布式
JVM系列-4.类加载器
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-23 18:24
JVM
jvm
java
DataStream API(源算子)
目录源算子1,从集合中读取数据2,从文件读取数据3,从Socket读取数据4,从
Kafka
读取数据5,自定义源算子6,Flink支持的数据类型6.1Flink支持多种数据类型,包括但不限于:6.2对于POJO
佛系爱学习
·
2024-01-23 16:17
flink知识点
大数据
flink
使用Flink处理
Kafka
中的数据
目录使用Flink处理
Kafka
中的数据前提:一,使用Flink消费
Kafka
中ProduceRecord主题的数据具体代码为(scala)执行结果二,使用Flink消费
Kafka
中ChangeRecord
佛系爱学习
·
2024-01-23 16:46
flink的使用
flink
kafka
大数据
Flink编程——基础环境搭建
IDEA集群环境搭建本地模式安装步骤1:下载步骤2:启动集群步骤3:提交作业(Job)步骤4:停止集群总结准备环境搭建我们先把电脑的准备环境给安装好,这样后面才能顺利的学习和时间因为后面可能用到的有:
Kafka
不二人生
·
2024-01-23 16:40
#
Flink
编程
flink
大数据
Pg批量更新数据产生的死锁问题
两个服务同时批量更新相同Pg表的相同记录时,产生如下错误:[2024-01-1809:17:52,172host:173.16.34.10ERRORalarm[org.springframework.
kafka
.
Kafka
ListenerEndpointContainer
Pluto_CSND
·
2024-01-23 16:27
PostgreSql
数据库
mybatis
Spring Boot和Redis Geo实现附近的人【redis实战 三】
1.性能2.存储效率3.简化的操作和集成4.灵活性和可扩展性5.成本效益注意事项实战maven依赖controller实现前端页面实现效果图(实现))引言(redis实战)RedisList:打造高效
消息队列
的秘密
一只牛博
·
2024-01-23 15:52
#
redis
spring
boot
redis
后端
geo
前端
Redis List:打造高效
消息队列
的秘密武器【redis实战 一】
欢迎来到我的博客,代码的世界里,每一行都是一个故事RedisList:打造高效
消息队列
的秘密武器前言RedisList简介List实现
消息队列
的优势优势:与专业
消息队列
的比较:实战maven依赖配置RedisConfiguration
一只牛博
·
2024-01-23 15:22
#
redis
redis
list
数据库
大型网站架构之分布式
消息队列
大型网站架构之分布式
消息队列
以下是
消息队列
以下的大纲,本文主要介绍
消息队列
概述,
消息队列
应用场景和消息中间件示例(电商,日志系统)。
罗卜丝粉
·
2024-01-23 15:17
消息队列
分布式
架构
消息队列
架构设计:
消息队列
之
Kafka
深度解析
Kafka
是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:●以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能●高吞吐率。
弗语笑红尘
·
2024-01-23 15:47
架构设计
队列
分布式
kafka
消息队列
软件架构
大型网站架构系列:分布式
消息队列
一、
消息队列
概述
消息队列
中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。
lz0426001
·
2024-01-23 15:44
架构
监控系统——Zabbix
Web界面ZabbixAgentZabbixProxyJavaGatewayZabbix6.0部署部署zabbix服务端添加zabbix客户端主机自定义监控内容监控指标系统方面:网站方面:数据库方面:
消息队列
方面
袁慕求玲
·
2024-01-23 14:49
zabbix
消息队列
之王——
Kafka
Zookeeper在学习
kafka
之前,我们需要先学习Zookeeper,那Zookeeper是什么呢?Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。
袁慕求玲
·
2024-01-23 14:17
kafka
分布式
使用DTS实现TiDB到GaiaDB数据迁移
1概览本文主要介绍通过DTS数据迁移功能,结合消息服务for
Kafka
与TiDB数据库的Pump、Drainer组件,完成从TiDB迁移至百度智能云云原生数据库GaiaDB。
大数据和云计算技术
·
2024-01-23 14:06
tidb
【
Kafka
】开发实战和Springboot集成
kafka
目录消息的发送与接收生产者消费者SpringBoot集成
kafka
服务端参数配置消息的发送与接收生产者生产者主要的对象有:
Kafka
Producer,ProducerRecord。
Ethan-running
·
2024-01-23 13:23
#
kafka
kafka
分布式
消息中间件
Kafka
——管理
Kafka
(命令行工具)详解
文章目录@[toc]管理
Kafka
1、主题操作(
kafka
-topic.sh)1.1、创建主题(–create)1.2、增加分区(–alter)1.3、减少分区数量(无)1.4、删除主题(–delete
Young丶
·
2024-01-23 13:21
kafka
kafka
分布式
Consumer源码解读
consumer初始化2、如何选举ConsumerLeader3、ConsumerLeader是如何制定分区方案4、Consumer如何拉取数据5、Consumer的自动偏移量提交Consumer初始化从
Kafka
Consumer
llp1110
·
2024-01-23 13:40
Kafka
数据库
Producer源码解读
Producer源码解读在
Kafka
中,我们把产生消息的一方称为Producer即生产者,它是
Kafka
的核心组件之一,也是消息的来源所在。
llp1110
·
2024-01-23 13:09
Kafka
java
kafka
Kafka
集群与可靠性
Kafka
集群与可靠性1.
Kafka
集群搭建实战使用两台Linux服务器:一台192.168.182.137一台192.168.182.138安装
kafka
首先,我们需要配置java环境变量(这里就略过了
llp1110
·
2024-01-23 13:39
Kafka
kafka
分布式
SpringBoot整合
Kafka
SpringBoot整合
Kafka
1.快速入门1.1引入依赖,搭建maven工程88UTF-8org.springframework.
kafka
spring-
kafka
2.3.3.RELEASEorg.springframework.bootspring-boot-starter-jsonorg.springframework.bootspring-boot-starter-testtestorg
llp1110
·
2024-01-23 13:37
Kafka
spring
boot
kafka
linq
Zookeeper+
Kafka
集群
1Zookeeper1.1Zookeeper概述Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。分布式系统管理框架,主要用来解决分布式应用集群中应用系统的一致性问题,想大于各种分布式应用的注册中心+文件系统+通知机制本质用于注册各种分布式应用,存储和管理这些分布式应用的元数据,如果应用或服务本身状态发生变化就会通知到客户端数据结构ZooKeeper数据模型的结构
王德发666
·
2024-01-23 12:25
zookeeper
kafka
分布式
利用
Kafka
的Assign模式实现超大群组(10万+)消息推送
本文主要是针对在线用户推送场景来进行总结和探讨:如何利用
Kafka
的Assign模式,解决百万级长链接海量消息的路由广播问题?如何解决超大聊天室成员(超过10万)的消息推送问题?
小何爆炸
·
2024-01-23 12:34
RabbitMQ(不完整版)
文章目录RabbitMQ入门1.什么是MQ2.为什么要用MQ流量消峰应用解耦异步处理3.MQ的分类ActiveMQ
Kafka
RocketMQRabbitMQ4.RabbitMQRabbitMQ的概念四大核心概念
凇:)
·
2024-01-23 12:46
rabbitmq
分布式
java
大厂大数据面试题收录(1)
5.
kafka
组件熟悉吗,
kafka
如何实现消息的有序的?6.在大数据组件中,你们一般用的资源管理框架是哪个?7.那你能谈一下yarn的基础架构及调度流程吗?
后季暖
·
2024-01-23 11:49
java
开发语言
部署Filebeat+
Kafka
+ELK 集群
目录
Kafka
概述为什么需要
消息队列
(MQ)使用
消息队列
的好处
消息队列
的两种模式
Kafka
定义
Kafka
简介
Kafka
的特性
Kafka
系统架构在zookeeper集群的基础上部署
kafka
集群部署zookeeper
GnaW1nT
·
2024-01-23 10:18
kafka
elk
分布式
ELK分离式日志(2)
192.168.233.50)下载fliebeat:安装nginx后查看下日志文件:设置filebeat的主配置文件:关闭logstash,检测文件:在50节点上启动filebeat:访问页面:二.zookeeper+
kafka
伍dLu
·
2024-01-23 10:46
elk
日志平台搭建手册
执行命令:useraddelk#创建用户passwdelk#设置elk用户密码采用同样的方法创建用户zookeeper和
kafka
,这两个用户分别管理zookeep
萧十一郎君
·
2024-01-23 09:15
运维
ELK
FileBeat
Kibana
Kafka
Kafka
-服务端-日志存储
基本概念首先需要了解的是,
Kafka
使用日志文件的方式保存生产者发送的消息。每条消息都有一个offset值来表示它在分区中的偏移量,这个offset值是逻辑值,并不是消息实际存放的物理地址。
Andy技术支援
·
2024-01-23 08:33
队列
kafka
数据库
分布式
Kafka
-服务端-DelayedOperationPurgatory
DelayedOperationPurgatory的底层依赖于
Kafka
提供的时间轮实现。
Andy技术支援
·
2024-01-23 08:33
队列
kafka
分布式
Kafka
-消费者-
Kafka
Consumer分析总结
Kafka
Consumer依赖SubscriptionState管理订阅的Topic集合和Partition的消费状态,通过ConsumerCoordinator与服务端的GroupCoordinator
Andy技术支援
·
2024-01-23 08:32
队列
kafka
分布式
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他