pulsar读取器

聊聊 Pulsar： Pulsar 分布式集群搭建

一、集群搭建要求1.1搭建设计搭建Pulsar集群至少需要3个组件：ZooKeeper集群、Bookkeeper集群和Broker集群（Broker是Pulsar的自身实例）。
老周聊架构·2023-09-01 13:41

milvus 集群遇到 Cannot create producer on topic

然后看了一下日志发现是rootcoord连接pulsar的时候有问题milvus集群遇到Cannotcreateproducerontopicwithbacklogquotaexceed
·2023-08-31 11:04

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
·2023-08-31 08:48

KubeBlocks支持Kafka、Pulsar、多款向量数据库、MySQL读写分离啦！

此版本引入了流计算引擎Kafka、Pulsar和向量数据库Qdrant、Weaviate、Milvus，支持了MySQL读写分离，提升了交互式的参数管理体验。
·2023-08-29 15:25

Linux MacBook单机部署Pulsar并开启认证功能

Pulsar简单介绍Pulsar是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。Pulsar最初由Yahoo开发，目前由Apache软件基金会管理。
阿亮说技术·2023-08-29 08:08

Apache Pulsar 源码走读（五）服务端消息流转逻辑概述

版权归本人所有，如果转载请联系本人这篇大致说一下消息从写入到读取在ApachePulsar服务端是怎么串起来的。(这篇不会详细说明每个逻辑怎么走的，不过会给读者一个整体的俯瞰印象。)
WJL3333·2023-08-28 07:52

一文了解io.ReadAtLeast函数

2.基本说明2.1基本定义io.ReadAtLeast函数用于从读取器（io.Reader）读取至少指定数量的字节数据到缓冲区中。
NightSkyWanderer·2023-08-28 07:37

Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理

导语ApachePulsar是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEOReplication）、快速扩容、灵活容错等特性，GEOReplication
·2023-08-27 23:10

VictoriaLogs：一款超低占用的 ElasticSearch 替代方案

image.png背景前段时间我们想实现Pulsar消息的追踪流程，追踪实现的效果图如下：实现其实比较简单，其中最重要的就是如何存储消息。
crossoverJie·2023-08-27 07:14

2020 OSCAR 云计算开源产业大会，Apache Pulsar 通过可信开源项目评估

ApachePulsar通过可信开源项目评估为规范开源项目健康发展，同时为用户企业选择开源软件提供有力参考，从2019年开始，中国信息通信研究院针对企业开源治理能力发布了一系列的规范和标准，并启动了OSCAR
StreamNative·2023-08-25 23:17

VictoriaLogs：一款超低占用的 ElasticSearch 替代方案

背景前段时间我们想实现Pulsar消息的追踪流程，追踪实现的效果图如下：实现其实比较简单，其中最重要的就是如何存储消息。
·2023-08-25 08:54

对比测试：Apache Pulsar 与 Kafka 在金融场景下的性能分析

背景ApachePulsar是下一代分布式消息流平台，采用计算存储分层架构，具备多租户、高一致、高性能、百万topic、数据平滑迁移等诸多优势。
StreamNative·2023-08-25 07:47

Pulsar简介及Pulsar部署、原理和使用介绍

Pulsar简介及Pulsar部署、原理和使用介绍Pulsar简介诞生背景ApachePulsar是一个企业级的分布式消息系统，最初由Yahoo开发，在2016年开源，并于2018年9月毕业成为Apache
王亭_666·2023-08-24 19:14

基于EasyExcel的Excel读取

1.引入依赖com.alibabaeasyexcel2.2.112.读取器代码：packagecom.vz.utils.excel;importcom.alibaba.excel.EasyExcel;importcom.alibaba.excel.cache.MapCache
BLUE BIU·2023-08-22 18:10

Python最常用的7个框架讲解！

本文为大家介绍7种常见且实用的Python框架，主要包括：Django、flask、scrapy、Diesel、Cubes、Pulsar和Tornado，具体介绍请看下文。
老男孩IT教育·2023-08-22 14:22

从 Pulsar Client 的原理到它的监控面板

image.png背景前段时间业务团队偶尔会碰到一些Pulsar使用的问题，比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。
crossoverJie·2023-08-20 14:55

新手如何快速参与开源项目

近期由于工作的原因，我需要经常和ApachePulsar社区沟通，同时也会将日常碰到的问题反馈给社区，包括一些bug，一些我能修的也是顺带就提了一些PR。
crossoverJie·2023-08-20 14:55

RFID赋能新能源电池生产的智慧演进

RFID是一种无线射频识别技术，它由一个读取器和一个或多个标签组成。标签中包含有关物体的信息，并通过无线电信号与读取器进行通信。从而实现信息的自动采集和管理
ck_RFID_·2023-08-19 06:49

新手如何快速参与开源项目

近期由于工作的原因，我需要经常和ApachePulsar社区沟通，同时也会将日常碰到的问题反馈给社区，包括一些bug，一些我能修的也是顺带就提了一些PR。
·2023-08-18 10:08

FlinkSql解析复杂的JSON结构

FlinkSql解析复杂的JSON结构一、处理思路二、使用原生的FlinkSQL具体实现1.分析JSON的结构2.在SQL中定义解析对象3.解析并获取需要的属性字段之前的一篇文章介绍了FlinkSQL解析Pulsar
酱紫很帅·2023-08-18 06:16

领导：谁再用 Redis 实现过期订单关闭，立马滚蛋

一般实现的方法有几种：1、使用rocketmq、rabbitmq、pulsar等消息队列
程序猿邱先森·2023-08-16 23:47

上海·得物技术沙龙-中间件专场火热报名中！

本次中间件专场沙龙由得物技术出品，聚焦于行业最新的技术趋势和实践，将在上海（线上同步直播）为你带来四个令人期待的演讲话题：《得物蓝绿发布演进和落地》《基于istio的ServiceMesh落地实践》《ApachePulsar
·2023-08-16 14:04

新手如何快速参与开源项目

近期由于工作的原因，我需要经常和ApachePulsar社区沟通，同时也会将日常碰到的问题反馈给社区，包括一些bug，一些我能修的也是顺带就提了一些PR。
·2023-08-15 18:58

社区活动 | Apache Pulsar SIG（特别兴趣小组开放）！欢迎大家加入

关于ApachePulsarApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储
·2023-08-15 18:03

社区活动｜ Apache Pulsar 中文开发者与用户组志愿者招募

ApachePulsar社区的发展离不开社区小伙伴们的长时间辛苦付出和奉献，在此向所有社区小伙伴表示由衷的感谢！
·2023-08-15 18:03

Apache Pulsar 调研

ApachePulsar1.Kafka概述1.1现存问题1.3优点1.4缺点2.Pulsar架构2.4.1三种写路由策略2.4.2四种读下发策略2.4.3Pull&Push可选请求模式2.4.4ConsumeACK
zhisheng_blog·2023-08-13 15:54

不惧流量持续上涨，BIGO 借助 Flink 与 Pulsar 打造实时消息系统

最初，BIGO的消息流平台主要采用开源Kafka作为数据支撑。随着数据规模日益增长，产品不断迭代，BIGO消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。开源的Kafka集群难以支撑海量数据处理场景，我们需要投入更多的人力去维护多个Kafka集群，这样成本会越来越高，主要体现在以下几个方面：1、数据存储
zhisheng_blog·2023-08-13 15:53

使用Flink 与 Pulsar 打造实时消息系统

最初，BIGO的消息流平台主要采用开源Kafka作为数据支撑。随着数据规模日益增长，产品不断迭代，BIGO消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。开源的Kafka集群难以支撑海量数据处理场景，我们需要投入更多的人力去维护多个Kafka集群，这样成本会越来越高，主要体现在以下几个方面：1、数据存储
ITFLY8·2023-08-13 15:22

借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统

摘要：本文整理自BIGOStaffEngineer陈航在FlinkForwardAsia2020分享的议题《借助Flink与Pulsar，BIGO打造实时消息处理系统》。
小晨说数据·2023-08-13 15:51

消息队列之六脉神剑：RabbitMQ、Kafka、ActiveMQ 、Redis、 ZeroMQ、Apache Pulsar对比和如何使用

目录1.RabbitMQ2.Kafka3.ActiveMQ4.Redis5.ZeroMQ6.ApachePulsar消息队列（MessageQueue）是一种异步通信机制，它将消息发送者和接收者解耦，从而提高了应用程序的性能
Web3&Basketball·2023-08-10 18:33

【Spring专题】Spring之底层架构核心概念解析

目录前言前置知识课程内容一、BeanDefinition：图纸二、BeanDefinitionReader：图纸读取器——Spring工厂基础设施之一2.1AnnotatedBeanDefinitionReader2.2XmlBeanDefinitionReader2.3ClassPathBeanDefinitionScanner
验证码有毒·2023-08-10 09:09

360度无死角 | Pulsar与Kafka对比全解析

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源2020年，Pulsar受到持续关注，Pulsar的应用场景也越来越广泛。
王知无(import_bigdata)·2023-08-09 14:27

一文简单理解pulsar和优于kafka的两个痛点

前段时间浪尖推荐过一套奈学的pulsar课程，很多粉丝问浪尖pulsar到底值不值得学习，会不会替代kafka。
浪尖聊大数据-浪尖·2023-08-09 14:57

从 Kafka 到 Pulsar：数据流演进之路

1、消息队列概述1.1消息队列的应用场景1.1.1MQ消息通道优点：异步解耦、高可用、削峰填谷、消息订阅1.1.2EventBridge事件总线事件源：将云服务、自定义应用、SaaS应用等应用程序产生的事件消息发布到事件集事件集：存储接收到的事件消息，并根据事件规则将事件消息路由到事件目标事件目标：消费事件消息1.1.3DataPlatform流数据平台提供批/流数据处理能力各类组件提供各类Con
Popcorn丶30·2023-08-09 14:56

Pulsar和Kafka，谁才是消息流平台的王者

Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。
卡卡的Java架构笔记·2023-08-09 14:26

14_基于Flink将pulsar数据写入到HBase

3.7.基于Flink将数据写入到HBase3.7.1.编写Flink完成数据写入到Hbase操作,完成数据备份,便于后续进行即席查询和离线分析3.7.1.1.HBase基本介绍hbase是基于Google发布bigTable论文产生一款软件,是一款noSQL型数据,不支持SQL.不支持join的操作,没有表关系,不支持事务(多行事务),hbase是基于HDFS的采用java语言编写查询hbase
涂作权的博客·2023-08-09 10:30

11_Pulsar Adaptors适配器、kafka适配器、Spark适配器

2.3.PulsarAdaptors适配器2.3.1.kafka适配器2.3.2.Spark适配器2.3.PulsarAdaptors适配器2.3.1.kafka适配器Pulsar为使用ApacheKafkaJava
涂作权的博客·2023-08-09 09:52

15_基于Flink将pulsar数据写入到ClickHouse

3.8.基于Flink将数据写入到ClickHouse编写Flink完成数据写入到ClickHouse操作,后续基于CK完成指标统计操作3.8.1.ClickHouse基本介绍ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。结论:ClickHouse像很多OLA
涂作权的博客·2023-08-09 08:46

Spark读取文件性能优化

为了提高读取速度，可以提前读取小批量的数据获取数据类型模式，然后将类型模式设置给spark的数据读取器，这样在40秒内就读完了所有的数据。与此同时，可以在代码中写入两条数据，推断出数据类型模式。
欧阳小伙·2023-08-09 06:18

.Net个别常用面试题

Connection连接类，Command操作类，DataAdapter适配器，DataSet数据容器，DataReader流读取器2：String和StringBuilder的区别是什么？
繁花~筱敏·2023-08-08 22:15

pulsar-client-1-2 PulsarClient构造函数

前言上文说到，PulsarClient通过链式调用构建，而在build()中调用了newPulsarClientImpl(conf)，而Producer本文通过解析构造函数，了解其主要结构。
Melody2050·2023-08-06 13:47

StAX的两种处理模式

Cursor和IteratorAPI的区别在读取XML文档时，迭代器读取器从其nextEvent()调用中返回一个XML事件对象。此事件提供有关我们遇到的XML标记类型（元素、文本、注释等）的信息。
hello_中年人·2023-08-04 13:49

《向量数据库指南》——使用Milvus Cloud操作员安装Milvus Cloud独立版

该堆栈包含所有Milvuscloud组件和相关依赖项，如etcd、Pulsar和MinIO。本主题介绍如何使用MilvuscloudOperator安装Milvuscloud独立版。先决条
LCHub低代码社区·2023-07-31 08:38

Flink 和 Pulsar 的批流融合

作者：SijieGuo编辑：IreneApacheFlink和ApachePulsar的开源数据技术框架可以以不同的方式融合，来提供大规模弹性数据处理。
StreamNative·2023-07-31 02:04

云原生消息队列RocketMQ：为什么我们选择 RocketMQ

作者：李伟说起消息队列，ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar等纷纷涌入我们的脑海中，在如此众多的开源消息队列产品中，作为一名合格的架构师如何给出高性价比的方案呢
阿里云云原生·2023-07-30 10:59

Pulsar

ApachePulsar是一个一体化的消息和流平台。消息可以单独使用和确认，也可以作为延迟小于10毫秒的流使用。它的分层体系结构允许跨数百个节点快速扩展，而无需数据重组。
星光落入你灰蒙蒙的眼·2023-07-28 06:40

Apache Pulsar 多层抽象layer2-逻辑存储体系

Pulsar中的逻辑存储体系使用的是ApacheBookKeeper。本文仅在Pulsar的背景下介绍BookKeeper。
QuinnSun·2023-07-25 20:02

MQ - 闲聊MQ一二事儿 （Kafka、RocketMQ 、Pulsar ）

文章目录MQ的发展史阶段一：追求解耦阶段二：追求吞吐量与一致性阶段三：追求平台化MQ的通用架构主题topic、生产者producer、消费者consumer分区partitionMQ存储KafkaGoodDesign--->磁盘顺序写盘PoorImpact--->topic数量不能过大RocketMQzookeepervsnamesrv局部顺序写（kafka）与完全顺序写（rocketmq）Roc
小小工匠·2023-07-25 20:24

Pulsar 介绍

前言本文将介绍pulsar的核心功能，不会对设计细节以及与其他MQ进行对比概述ApachePulsar是一个多租户、高性能的发布-订阅消息中间件，Pulsar最初由雅虎开发。
coding400·2023-07-25 14:50

腾讯超大 Apache Pulsar 集群的客户端性能调优实践

腾讯Data项目选用ApachePulsar作为消息系统，其服务端采用CVM服务器（CloudVirtualMachine，CVM）部署，并将生产者和消费者部署在Kubernet
搬砖养女人·2023-07-24 22:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他