E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
pulsar读取器
云原生消息队列RocketMQ:为什么我们选择 RocketMQ
作者:李伟说起消息队列,ActiveMQ、RabbitMQ、RocketMQ、Kafka、
Pulsar
等纷纷涌入我们的脑海中,在如此众多的开源消息队列产品中,作为一名合格的架构师如何给出高性价比的方案呢
阿里云云原生
·
2023-07-30 10:59
java-rocketmq
云原生
rocketmq
Pulsar
Apache
Pulsar
是一个一体化的消息和流平台。消息可以单独使用和确认,也可以作为延迟小于10毫秒的流使用。它的分层体系结构允许跨数百个节点快速扩展,而无需数据重组。
星光落入你灰蒙蒙的眼
·
2023-07-28 06:40
MQ
知识图谱
人工智能
云原生
pulsar
运维
mq
Apache
Pulsar
多层抽象layer2-逻辑存储体系
Pulsar
中的逻辑存储体系使用的是ApacheBookKeeper。本文仅在
Pulsar
的背景下介绍BookKeeper。
QuinnSun
·
2023-07-25 20:02
MQ - 闲聊MQ一二事儿 (Kafka、RocketMQ 、
Pulsar
)
文章目录MQ的发展史阶段一:追求解耦阶段二:追求吞吐量与一致性阶段三:追求平台化MQ的通用架构主题topic、生产者producer、消费者consumer分区partitionMQ存储KafkaGoodDesign--->磁盘顺序写盘PoorImpact--->topic数量不能过大RocketMQzookeepervsnamesrv局部顺序写(kafka)与完全顺序写(rocketmq)Roc
小小工匠
·
2023-07-25 20:24
【MQ-Apache
Kafka】
kafka
rocketmq
分布式
Pulsar
介绍
前言本文将介绍
pulsar
的核心功能,不会对设计细节以及与其他MQ进行对比概述Apache
Pulsar
是一个多租户、高性能的发布-订阅消息中间件,
Pulsar
最初由雅虎开发。
coding400
·
2023-07-25 14:50
腾讯超大 Apache
Pulsar
集群的客户端性能调优实践
腾讯Data项目选用Apache
Pulsar
作为消息系统,其服务端采用CVM服务器(CloudVirtualMachine,CVM)部署,并将生产者和消费者部署在Kubernet
搬砖养女人
·
2023-07-24 22:02
开发语言
程序人生
java
Flink+
Pulsar
、Kafka问题分析及方案 -- 幂等性
背景消息队列如Kafka、
Pulsar
利用事务特性所提供的exactlyonce语义,只能在特定使用场景consume-transform-produce下保证,即一个事务同时包含了生产和消费,利用事务的原子性
play maker
·
2023-07-24 17:38
java
pulsar
flink
kafka
flink
java
Pulsar
消息概览
Pulsar
消息概览目录ConsuemrReceivemodes同步接受消息异步接受消息AcknowledgementNegativeacknowledgement消费者否定应答,当消费者消费消息失败,
93张先生
·
2023-07-23 14:29
Pulsar
联合 TiDB 推出大数据场景数据应用分析解决方案
Pulsar
与TiDB联合解决方案提供实时、高吞吐、稳定的数据输出,满足用户在大数据场景中对各类数据的应用与分析需求,广泛适用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。
StreamNative
·
2023-07-22 23:19
glmark2代码分析8(其他scene)
:和collections一样,就是shader不同,得验证下grid:绘制基本的网格,调用的是mesh的类,比较简单jellyfish:setup加载模型和纹理:jellyfish.jobjloop
pulsar
refractshadi
eric_dma
·
2023-07-18 04:27
算法
wireshark 书写lua插件
20210908144418891Wireshark插件路径MACimage-20210908142121894重新加载Wireshark中的lua插件MACimage-20210908141433962从一个新协议的样板开始
pulsar
_protocol
ShootHzj
·
2023-07-18 02:26
解密分布式事务框架-Fescar
它不像其他的分布式中间件有大量的成熟的解决方案,比如分布式消息队列中间件:ApacheKafka,ApacheRocketMQ,Apache
Pulsar
这三个均是Apache顶级项目;又比如分布式任务调度
Java高级架构师之路
·
2023-07-18 01:58
Apache
Pulsar
多层抽象layer3-Bookie存储
BookKeeper中存储的实现是可拔插的,
Pulsar
默认使用名称为DbLedgerStorage的存储实现。
QuinnSun
·
2023-07-17 11:23
Pulsar
快速开始(集群搭建+Java demo)
Apache
Pulsar
集群部署手册1集群组成搭建
Pulsar
集群至少需要3个组件:ZooKeeper集群、BookKeeper集群和broker集群(Broker是
Pulsar
的自身实例)。
赶考书生_c27f
·
2023-07-17 09:08
Pulsar
消费者的使用--@
Pulsar
Consumer`注解使用
Pulsar
消费者的使用–注解使用前提:在项目中引入
Pulsar
Starter相关依赖。
须臾亦无穷
·
2023-07-16 21:04
java
spring
开发语言
Pulsar
Clients(客户端)
目录1、Clientsetupphase客户端连接阶段2、Readerinterface读取接口客户端API优化和封装了
Pulsar
的客户端和broker之间的通信协议,并公开了一个简单直观的API供应用程序使用
swadian2008
·
2023-07-16 21:04
Apache
pulsar
pulsar客户端
pulsar读取器
Pulsar
消息传递机制
官方文档:Messaging|Apache
Pulsar
转载请链接到本文章
Pulsar
采用发布-订阅的设计模式(简称pub-sub),该设计模式中,producer发布消息到topic,Consumer订阅
小刘想学架构
·
2023-07-16 21:03
消息中间件
#
Pulsar
消息队列
流处理
Pulsar
Java client
可以使用
Pulsar
的Java客户端来创建生产者,消费者和消息
读取器
,以及进行任务管理。当前Java客户端版本为2.8.0。在Java客户端所创建的生产者,消费者和
读取器
中所提供的方法都是线程安全的。
小刘想学架构
·
2023-07-16 21:33
消息中间件
#
Pulsar
消息队列
java
深入
Pulsar
Consumer的使用方式&源码分析
1、使用前准备引入依赖:org.apache.
pulsar
pulsar
-client2.6.12、
Pulsar
Client在尝试使用Producer和Consumer前,我们先讲一下
Pulsar
客户端,
Howinfun
·
2023-07-16 21:02
Pulsar
Pulsar
Consumer使用方式
Pulsar
的消费模式
Pulsar
提供了三种消费模式:独立消费者模式、共享订阅模式和发布订阅模式。1:独立消费者模式:每个消费者实例都会独立地消费消息,并且每个消息只会被一个消费者消费。
修猫写代码
·
2023-07-16 21:02
消息队列
java
开发语言
大数据
Pulsar
消息发送、消费架构概述
1、订阅与发布
Pulsar
基于发布-订阅模式,消息发送者向主题发送消息,而消费消费者订阅主题,消息从
Pulsar
Broker中获取消息,处理成功后需要向
Pulsar
发送ACK,表示
中间件兴趣圈
·
2023-07-16 21:31
Pulsar实战与进阶
架构
分布式
pulsar
云原生
一篇文章了解
Pulsar
Functions
作者|冉小龙编辑|Irene导读:本文是
Pulsar
Functions的第一篇,主要向大家普及
Pulsar
Functions相关的概念,架构设计,以及运行的逻辑。
StreamNative
·
2023-07-16 08:08
Ubuntu 设置无线 wifi 的静态 IP
安装net-toolssudoaptinstallnet-tools输入ifconfig查看当前网络ip地址:
pulsar
@
pulsar
:~$ifconfigdocker0:flags=4099mtu1500inet172.17.0.1netmask255.255.0.0broadcast172.17.255.255ether02
想要个小姑娘
·
2023-07-15 07:10
Ubuntu
网络
ubuntu
新一代MQ apache
pulsar
的架构与核心概念
Pulsar
基本架构
Pulsar
采用存储计算分离的架构,
pulsar
使用了bookkeeper做消息的存储,bookkeeper保证了消息存储的可靠性和高效性,bookkeeper为
pulsar
提供了存储的扩展能力
无醉_1866
·
2023-07-14 00:04
Flink DataStream Connectors 之 Apache Kafka 连接器
订阅消息解析起始消费位点有界/无界模式其他属性动态分区检查事件时间和水印空闲消费位点提交监控指标范围KafkaConsumer指标实现细节数据源分片(SourceSplit)分片枚举器(SplitEnumerator)源
读取器
京河小蚁
·
2023-06-24 03:54
flink
kafka
flink
Pulsar
负载均衡与transaction_coordinator_assign
背景与现状TC加载到哪个broker上取决于transaction_coordinator_assign-partition-${TCID}分区加载到哪个broker上。默认transaction_coordinator_assign有16个分区,因此默认有16个TC,我们需要根据集群机器/broker数目来设置合理的TC个数。为了保证集群压力均衡,和为了提高服务可用性,我们需要让TC尽量均衡地打
play maker
·
2023-06-23 12:03
负载均衡
pulsar
中间件
Flink+
Pulsar
、Kafka问题分析及方案 -- 事务阻塞
Pulsar
、Kafka的事务设计
Pulsar
跟Kafka在设计事务功能时,在消费者读取消息的顺序方面,都采用了类似的设计。
play maker
·
2023-06-23 12:32
flink
java
pulsar
kafka
flink
java
pulsar
分布式
pulsar
---non-persistent和persistent的区别
日志辅助import("os""time""github.com/natefinch/lumberjack""go.uber.org/zap""go.uber.org/zap/zapcore")funcInitZapLogger(flieNamestring)*zap.SugaredLogger{writeSyncer:=getLogWriter(flieName)encoder:=getTime
IT艺术家-rookie
·
2023-06-23 05:23
消息队列
消息队列
apache
pulsar
小程序全栈学习-
读取器
基本类的建立
春
读取器
模型基类的定义
读取器
可以独立完成图片资源的URL的读取和拼接功能,在很多类都会使用,为避免代码的重复自然会产生可不可以将
读取器
封装成一个函数的想法,但是即使封装成一个函数,在每次使用的时候还是要重复调用这个函数
Answer_ccbb
·
2023-06-21 10:18
互联网摸鱼日报(2023-03-14)
互联网摸鱼日报(2023-03-14)InfoQ热门话题打造消息中台,华为终端云基于Apache
Pulsar
的演进实践度小满陈存利:20年老“司令”聊运维、绩效、成长技术专家控诉ChatGPT:到处宣扬我死了
每日摸鱼大王
·
2023-06-20 22:10
每日摸鱼新闻
业界资讯
Apache
Pulsar
之 Go Function
在一篇文章了解
Pulsar
Function中我们提到,Function作为
Pulsar
的计算层,其实现思路主要有如下两种:SDKPlugin在之前介绍的JavaFunction和PythonFunction
wolf4j
·
2023-06-17 13:20
docker-compose启动
pulsar
standalone模式及
pulsar
-manager
链接:https://pan.baidu.com/s/1kp9MBKXSd9ic4sWE8o9gqQ提取码:nl4s2、docker-compose.yamlversion:'3.3'services:
pulsar
-standalone
hsiaojun
·
2023-06-17 07:06
usg防火墙安全策略配置
usg防火墙安全策略配置1.security-policy2.rulename禁止访问生产
pulsar
3.description办公网络禁止访问生产
pulsar
4.source-zonetrust5.destination-zoneuntrust6
少陽君
·
2023-06-14 14:20
防火墙
网络
大数据中台架构以及建设全流程一(Paas层设计)
目录设计背景问题点中台目标复用,赋能,降本增效中台整体架构Pass层技术选型实时存储平台----------->KAFKA(未来
pulsar
也不错)离线存储平台(Hadoop系列)Hadoop选型机架感知硬件选型
只会写demo的程序猿
·
2023-06-13 01:29
spark
数仓
scala
spark
hadoop
30分钟带你了解「消息中间件」Kafka、RocketMQ
分钟带你了解「消息中间件」Kafka、RocketMQ主流MQ框架及对比30分钟带你了解「消息中间件」Kafka、RocketMQ说明Kafka:整个行业应用广泛RocketMQ:阿里,从apache孵化
Pulsar
996小迁
·
2023-06-10 20:43
RabbitMQ,RocketMQ,Kafka,
Pulsar
几种消息队列的对比
性能上有瓶颈2.RocketMQ(1)优点:消息可以做到0丢失、支持10亿级别的消息堆积(2)缺点:支持的客户端语言不多3.Kafka(1)优点:吞吐量高,单机写入TPS约在百万条/秒(2)缺点:延迟比较高4.
Pulsar
你那是什么调调
·
2023-06-10 09:05
Kafka
java-rabbitmq
rabbitmq
kafka
对 Kafka 和
Pulsar
进行性能测试后,拉卡拉将消息平台统一换成了
Pulsar
拉卡拉支付成立于2005年,是国内领先的第三方支付企业,致力于整合信息科技,服务线下实体,从支付切入,全维度为中小微商户的经营赋能。2011年成为首批获得《支付业务许可证》企业的一员,2019年上半年服务商户超过2100万家。2019年4月25日,登陆创业板。功能需求由于拉卡拉的项目组数量较多,各个项目在建设时,分别根据需要选择了自己的消息系统。这就导致一方面很多系统的业务逻辑和具体的消息系统之间
TASKCTL
·
2023-06-09 17:16
都 2023 年了,你还在用 Kafka?快试试这个全新平台吧
最近这个Apache
Pulsar
消息中间件非常的火,号称云原生时代的下一代消息中件,今天,就一起来看看它到底有多牛逼?
·
2023-06-08 09:17
后端
一篇文章了解
pulsar
function
本文为原创文章,转载请注明出处摘要
Pulsar
Functions是一个轻量级的计算框架,像AWS的lambda、GoogleCloud的Functions一样,
Pulsar
Functions可以给用户提供一个部署简单
wolf4j
·
2023-06-07 18:58
夜天之书 #82 Web API 简介
例如,你可以通过以下命令查询GitHub上特定代码仓库的元数据信息:curlhttps://api.github.com/repos/apache/
pulsar
GitHub会返回以下信息:{"id":62117812
_tison
·
2023-06-07 13:51
前端
java
服务器
servlet
开发语言
通过 KoP 将 Kafka 应用迁移到
Pulsar
通过KoP将Kafka应用迁移到
Pulsar
版权声明:原文出自https://github.com/streamnati...
·
2023-04-20 18:32
pulsarkafkajava
消息中间件对比
1,常见消息中间件对比(后续逐个介绍)比较项TubeMQKafka
Pulsar
数据时延非常低,10ms比较低,250ms非常低,10msTPS高,14W+/s一般,10W+/s高,14W+/s(高性能场景
shinelord明
·
2023-04-20 02:00
消息中间件
java
开发语言
kafka
中间件
IDEA 运行启动
pulsar
-manager项目
IDEA运行
pulsar
-manager项目(gradle)1、下载
pulsar
-manager源码giithub地址smn-manager2、将项目导入IDEA并初始化项目问题:SSLpeershutdownincorrectly
Tronhon
·
2023-04-16 15:01
项目开发配置功能要点
IDEA
intellij-idea
java
gradle
pulsar-manager
IDEA部署
借助 Flink 与
Pulsar
,BIGO 打造实时消息处理系统
▼关注「Flink中文社区」,获取更多技术干货▼摘要:本文整理自BIGOStaffEngineer陈航在FlinkForwardAsia2020分享的议题《借助Flink与
Pulsar
,BIGO打造实时消息处理系统
Apache Flink
·
2023-04-16 08:05
运维
算法
大数据
分布式
编程语言
大数据1 简介
ApacheHadoopHDFS、ApacheHBase、ApacheKudu、云平台•计算:ApacheHadoopMapReduce、ApacheSpark、ApacheFlink•传输:ApacheKafka、Apache
Pulsar
像影子追着光梦游_
·
2023-04-16 02:18
大数据
hadoop
大数据
hdfs
Pulsar
Flink Connector 2.5.0 正式发布
经过不断地努力,社区成功发布
Pulsar
FlinkConnector2.5.0版本。
StreamNative
·
2023-04-15 21:59
Pulsar
社区周报|2020-09-19 ~ 2020-09-25
关于Apache
Pulsar
Apache
Pulsar
是Apache软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储
StreamNative
·
2023-04-14 22:25
下一代消息队列
pulsar
前言最近由于业务需求,接触了一个新的中间件,Apache
Pulsar
。什么是
pulsar
?它是做什么的?它与kafka有什么区别?1、什么是
pulsar
?
笔墨新城
·
2023-04-14 09:07
中间件
kafka
pulsar
pulsar与kafka
k8s集群部署
pulsar
(standalone)
k8s集群部署
pulsar
(standalone)pvcapiVersion:v1kind:PersistentVolumeClaimmetadata:name:
pulsar
-standalone-data-pvcnamespace
跨行菜鸟运维
·
2023-04-14 09:37
java
linux
运维
从演进式角度看消息队列
来源:大数据与机器学习文摘本文约10000字,建议阅读15分钟本文尝试通过技术演进的方式,以redis、kafka和
pulsar
为例,逐步深入,讲讲它们架构和原理,帮助你更好地理解和学习消息队列。
数据派THU
·
2023-04-14 09:07
队列
分布式
数据库
redis
kafka
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他