E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
消息队列Kafka
消息队列
之 RocketMQ
简介RocketMQ特点RocketMQ是阿里巴巴在2012年开源的分布式消息中间件,目前已经捐赠给Apache软件基金会,并于2017年9月25日成为Apache的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件,以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。其主要特点有:灵活可扩展性RocketMQ天然支持集群,其核心四组件(Na
豆奶快攻
·
2024-01-16 07:31
消息队列
RocketMQ联合创始人:选择MQ时,要注意的有哪些?
谈起消息系统中间件,就开源项目而言,用户的选择其实很多,包括ActiveMQ、ZeroMQ、
Kafka
等。那到底Rocke
豆奶快攻
·
2024-01-16 07:01
消息队列
消息中间件选型分析
消息中间件选型分析——从
Kafka
与RabbitMQ的对比来看全局有很多网友留言:公司要做消息中间件选型,该如何选?你觉得哪个比较好?消息选型的确是一个大论题,实则说来话长的事情又如何长话短说。
豆奶快攻
·
2024-01-16 07:01
消息队列
消息队列
的作用
过去几年中,我们一直在使用、构建和宣传
消息队列
,我们认为它们是很令人敬畏的,这也不是什么秘密。
豆奶快攻
·
2024-01-16 07:30
消息队列
Spark Structured Streaming +
Kafka
+Json
org.apache.spark spark-sql-
kafka
-0-10_2.11 2.1.1 org.apache.spark spark-sql_2.11 2.1.1importorg.apache.spark.sql.SparkSessionobjectMyTest
zhangxl-jc
·
2024-01-16 07:00
kafka
spark
spark
kafka
json
StructStreaming整合
Kafka
操作
StructStreaming整合
Kafka
操作Maven依赖org.apache.sparkspark-sql-
kafka
-0-10_2.123.3.1实时数据ETL准备数据/***模拟产生基站日志数据
健鑫.
·
2024-01-16 07:29
spark
kafka
scala
spark
Structured Streaming 整合
Kafka
指南
用于
Kafka
0.10的结构化流式处理集成,用于从
Kafka
读取数据和写入数据。
鸭梨山大哎
·
2024-01-16 07:27
kafka
kafka
后端杂七杂八系列篇二
后端杂七杂八系列篇二①Redis--
消息队列
①发布-订阅模式②发布-订阅常见的模型③发布-订阅redis命令④发布-订阅模式redis实战②Redis+Lua①什么是Lua?
Dormiveglia-flx
·
2024-01-16 07:26
后端杂七杂八系列
java
spring
boot
redis
spring
spring
cloud
Kafka
消费流程
Kafka
消费流程消息是如何被消费者消费掉的。其中最核心的有以下内容。
llp1110
·
2024-01-16 07:24
Kafka
kafka
linq
分布式
PySpark Structured Streaming
kafka
示例
PySparkStructuredStreaming
kafka
示例直接上代码:#!
张行之
·
2024-01-16 07:52
大数据
pyspark
structured
streaming
kafka
python
StructuredStreaming整合
kafka
&Mysql
前言大家好,我是DJ丶小哪吒,我又来跟你们分享知识了。对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与他人知识共享。由于水平有限。博客中难免会有一些错误。如有纰漏之处,欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒续更了。上回简单带领大家简单了解了一下StructuredStreaming,那么这一回,我们就来使用StructuredStreaming整合一些其他的技术。
小哪吒的BD
·
2024-01-16 07:18
大数据
spark
大数据
spark
Structured Streaming配置
Kafka
参数
overridedefstream():DataFrame={val
kafka
Conf=new
Kafka
Configurationvalspark=GxSparkSession().session()valdf
sunyang098
·
2024-01-16 07:18
spark
spark
streaming
kafka
配置
Structured Streaming整合
Kafka
实时统计
StructuredStreaming整合
Kafka
实时统计一、实时ETL启动Zookeeper和
kafka
#启动zookeeperbin/zkServer.shstart#启动
kafka
bin/
kafka
-server-start.sh-daemonconfig
Joker_Jiang3
·
2024-01-16 07:47
大数据
kafka
大数据
kafka
spark
structured streaming+
kafka
异常处理
由于使用structuredstreaming+
kafka
处理数据,任务运行一段时间后就会出现
Kafka
数据无法消费,任务运行正常,但是从日志中看到Thismemberwillleavethegroup
嘘、不语
·
2024-01-16 07:46
kafka
如何保证
Kafka
不丢失消息
生产者丢失消息的情况消费者丢失消息的情况
Kafka
弄丢了消息生产者丢失消息的情况生产者(Producer)调用send方法发送消息之后,消息可能因为网络问题并没有发送过去。
豆奶快攻
·
2024-01-16 06:15
Kafka
消息队列
分布式
kafka
linq
数据库
Structured_Streaming和
Kafka
整合
结构化编程模型输出终端/位置默认情况下,Spark的结构化流支持多种输出方案:1-consolesink:将结果数据输出到控制台。主要是用在测试中,并且支持3种输出模式2-Filesink:输出到文件。将结果数据输出到某个目录下,形成文件数据。只支持append模式3-foreachsink和foreachBatchsink:将数据进行遍历处理。遍历后输出到哪里,取决于自定义函数。并且支持3种输出
小希 fighting
·
2024-01-16 06:14
kafka
分布式
spark
大数据
Kafka
集群的安装与配置
一、安装JDK1、在usr目录下新建Java目录,然后将下载的JDK拷贝到这个新建的Java目录中1创建目录命令:mkdir/usr/java2、进入到Java目录中解压下载的JDK解压命令:tar-zxvfjdk-18_linux-x64_bin.tar.gz在1主机上,将安装包分发到其他机器scp-r/opt/jdk1.8/node2:/opt/3、设置环境变量设置命令:vim/etc/pro
ole_triangle_java
·
2024-01-16 06:05
kafka
分布式
C++ 实现一个
消息队列
推送消息(2)、等待消息(3)、轮询消息2、用到的对象(1)、队列(2)、互斥变量(3)、条件变量3、基本流程(1)、线程通信二、完整代码三、使用示例1、线程通信(1)、等待消息(2)、轮询消息总结前言
消息队列
在多线程的场景有时会用到
CodeOfCC
·
2024-01-16 06:21
c++
c++
消息队列
设计模式
多线程
Clickhouse引擎之
kafka
Clickhouse
kafka
引擎需要结合
kafka
使用,需要确保已经安装clickhouse和
kafka
实战环境:Clickhouse-server版本:22.4.5
Kafka
版本:
kafka
_2.13
pokefade
·
2024-01-16 05:15
kafka
clickhouse
java
clickhouse MergeTree 常用表引擎
CollapsingMergeTreeVersionedCollapsingMergeTreeAggregatingMergeTreeSummingMergeTreeRelacingMergeTreeReplicationReplicatedMergeTree集成引擎
kafka
guaoran
·
2024-01-16 05:41
ClickHouse
数据库
clickhouse
Clickhouse集成离线hive、实时
kafka
数据实操
Clickhouse集成hive一、官网介绍:1、clickhouse集成hive、
kafka
官网介绍:2、clickhouse支持的数据类型:二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语
·
2024-01-16 05:11
大数据
hive
数据仓库
big
data
kafka
seatunnel 消费
kafka
数据写入clickhouse
今天使用seatunnel消费
kafka
topic数据写入clickhouseseatunnel:2.1.0spark:2.4.
冰帆<
·
2024-01-16 05:41
seatunel
大数据
大数据
Kafka
和Flink:构建高吞吐量的实时数据流处理系统
Apache
Kafka
和ApacheFlink是两个非常重要的开源项目,它们分别是一个分布式流处理平台和一个流处理框架。
OpenChat
·
2024-01-16 05:20
AI大模型应用入门实战与进阶
AI大模型企业级应用开发实战
LLM大模型落地实战指南
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
Kafka
部署及使用
kafka
四个核心概念:producer、consumer、broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压:tar-zxvfzookeeper
Sx_Ren
·
2024-01-16 05:15
定位消息
寻找最新的offsetdefget_latest_offset():topic=f'{get_env_tag()}_broker_rateRule'_consumer=
Kafka
Consumer(bootstrap_servers
Mr韩_xianfeng
·
2024-01-16 03:37
RabbitMQ
消息队列
Android的实现方式之接收(二)
上一期说了RabbitMQ发送消息的方法,这部分发一下接收和关闭连接的方法实现,废话少说直接上代码。privatevoidsubscribe(finalHandlerhandler){//创建消费者,并监听消费信息subscribeThread=newThread(newRunnable(){@Overridepublicvoidrun(){while(isCycle){//定义轮询方法try{c
自由自在_Android
·
2024-01-16 03:16
zookeeper 从是啥到咋用
2、zookeeper下载安装下载安装参考之前搭建
Kafka
集群的博客:
kafka
丢弃zookeeper,使用kraft架构-CSDN博客3、zookeeper几种状态1)、LOOKING:参加竞选状态
知其_所以然
·
2024-01-16 03:05
java技术
zookeeper
zookeeper
Kafka
之生产者(Producer)
main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到
Kafka
Broker。
知其_所以然
·
2024-01-16 03:05
kafka
分布式
kafka
使用zookeeper完成集群搭建
本次搭建使用的是
Kafka
3.6.1,zookeeper3.9.1。
知其_所以然
·
2024-01-16 03:04
kafka
kafka
丢弃zookeeper,使用kraft架构
1、简介
Kafka
现有架构元数据在zookeeper中,运行时动态选举controller,由controller进行
Kafka
集群管理。
知其_所以然
·
2024-01-16 03:04
kafka
java技术
kafka
zookeeper
架构
日志采集传输框架之 Flume,将监听端口数据发送至
Kafka
1、简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,主要有以下几个部分组成。主要组件介绍:1)、FlumeAgent是一个JVM进程,它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成,Source、Channel、Sink。2)、Source是负责接收数据到FlumeAgent的组件。Source组件可以
知其_所以然
·
2024-01-16 03:03
java技术
kafka
flume
flume
大数据
消息中间件介绍
常见的中间件:消息中间件(比如
Kafka
、RabbitMQ)、缓存中间件(比如Redis)。
xmh-sxh-1314
·
2024-01-16 03:49
java
Kafka
producer 解析
前言
Kafka
作为一个消息系统,其中很大的一个用途就是作为业务上的解耦,而它实现的模式就是经典的生产者消费者模式。毫无疑问,就出现了producer、consumer。
邹志全
·
2024-01-16 02:03
大觅网-概览
同时使用SpringBoot为项目基本骨架整个项目包含:Eureka注册中心Zuul网关验证Config分布式配置管理Ribbon负载均衡Feign接口调用Hystrix容错处理Sluth微服务追踪ELK+
Kafka
Tinner丶
·
2024-01-16 01:12
字节跳动后端面经(12)
直播、游戏等采用TCP还是UDPUDP为什么实时性好https与http的区别堆中的GC说下redis常用数据结构与底层原理b树与b+树的区别SpringAOP和动态代理SpringBean的生命周期
消息队列
的消息丢失和消息堆积数据库缓存设计说几个
dybaby
·
2024-01-16 01:47
ActiveMQ:专注消息传递,助您构建高效稳定的系统
在数字化世界的今天,应用程序和系统之间的通信变得日益重要,为了确保数据能够在不同的服务和组件之间高效、可靠地传输,
消息队列
技术应运而生。
灸哥漫谈
·
2024-01-16 01:01
技术专项能力
java-activemq
Redis学习指南(3)-Redis的应用领域
文章目录前言1.缓存系统实践案例:Facebook2.会话存储实践案例:Alibaba3.
消息队列
实践案例:Twitter4.实时分析实践案例:Netflix5.排行榜和计数器实践案例:LinkedIn6
俞兆鹏
·
2024-01-16 00:22
Redis学习指南
redis
数据库
缓存
kafka
和rocketMQ
1、数据可靠性
kafka
使用异步刷盘方式,异步ReplicationRocketMQ支持异步刷盘,同步刷盘,同步Replication,异步Replication2、严格的消息顺序
Kafka
支持消息顺序
托盘毛毛
·
2024-01-15 23:02
Flink定制化功能开发,demo代码
本文将通过flink的DataStream模块API,以
kafka
为数据源,构建一个基础测试环境;包含一个
kafka
生产者线程工具,一个自定义FilterFunction算子,一个自定义MapFunction
i7杨
·
2024-01-15 23:31
Flink
linq
c#
1.9 day7 IO进程线程
使用
消息队列
完成两个进程间的通信进程1#includestructmigbuf{longa;//消息类型charb[1024];//消息正文};#defineSIZE(sizeof(structmigbuf
谢必安灬
·
2024-01-15 22:11
算法
topic的leader显示为none的解决办法
受此博文启发:http://blog.selfup.cn/1698.html以单副本,3分区示例:
kafka
在zk中存放路径为/(路径自行验证)1、查看
kafka
的topic详细信息2、查看zk节点指定节点内部为空
王木头
·
2024-01-15 22:05
kafka
kafka
Kafka
——管理
Kafka
(命令行工具)详解
目录管理
Kafka
1、主题操作(
kafka
-topic.sh)1.1、创建主题(--create)1.2、增加分区(--alter)1.3、减少分区数量(无)1.4、删除主题(--delete)1.5、
吴声子夜歌
·
2024-01-15 22:04
kafka
kafka
命令行工具
Kafka
清空Topic
2、操作2.1检查当前topic的配置[root@localhost~]#/export/server/
kafka
/bin/
kafka
-configs.sh--zookeeperx.x.x.x:2181
王木头
·
2024-01-15 22:33
kafka
分布式
Go每日精选(2019-06-27)
1.Golang大杀器之性能剖析PProf2.
Kafka
集群Golang应用实例3.高并发下如何缩短响应时间?
凯文不上班
·
2024-01-15 22:04
RabbitMQ 的核心组件&工作原理【很重要】
AMQP:AdvancedMessageQueue,高级
消息队列
协议。它是应用层协议的一个开
m0_67394230
·
2024-01-15 22:56
java
java
后端
消息中间件(RocketMQ、RabbitMQ、ActiveMQ、Redis、
kafka
、ZeroMQ)以及之间的区别
目录一、什么是消息中间件二、消息中间件的组成1、Broker2、Producer3、Consumer4、Topic5、Queue6、Message三、消息中间件通信模式1、点对点(
kafka
不支持这种模式
欢喜躲在眉梢里
·
2024-01-15 22:25
数据库
kafka
网络
中间件
MQ(Message Queue
消息队列
)
1.MQ消息中间件MQ全称MessageQueue(
消息队列
),是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法。
这玩意真费脑子
·
2024-01-15 22:16
java
spring
前端
maven
spring
boot
mybatis
MQ的主要组件和架构是怎样的?MQ的消息持久化机制是怎样的?
MQ(
消息队列
)的主要组件和架构主要包括以下几个方面:消息生产者(Producer):负责将消息发送到
消息队列
中。消息生产者可以是一个应用程序、服务、或者其它系统。
码农落落
·
2024-01-15 22:43
java基础
架构
mq
集成xxljob项目如何迁移到K8S
它的主要特点包括:支持分布式、多线程任务调度;具有完整的管理后台,可以实现任务调度的创建、修改、启动和监控;提供了丰富的调度方式,包括cron表达式、API调用、
消息队列
等;支持任务执行过程的日志记录和错误处理
鬼钺魂
·
2024-01-15 22:36
k8s
kubernetes
java
xxljob
IO进程线程 day7 进程间通信
1.使用
消息队列
完成两个进程之间相互通信2.信号通信相关代码的重新实现(1)signal函数的实例#include//定义信号处理函数voidhandler(intsignum){if(signum==
心若向阳,何惧悲伤
·
2024-01-15 21:56
嵌入式学习-IO进程线程
linux
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他