BookKeeper

Apache Bookkeeper 的网络框架

Request-Response的一问一答方式，对网络请求处理这块直接采用的Netty框架，所以其实这块可讲的不是太多;Netty我们在这里就不累述了，网上资料很多，其实我也是一知半解啊:(实现主要实现在文件：bookkeeper-server
扫帚的影子·2024-01-27 05:18

详解bookkeeper AutoRecovery机制

引言小故事张三在一家小型互联网公司上班，由于公司实行的996，因此经常有同事“不辞而别”，为了工作的正常推进，团队内达成了某种默契，这种默契就是通过某个规则来选出一个同事，这个同事除了工作之余还有额外看看每天是否有同事“不辞而别”，当发现有同事李四离职时，就会去把李四负责的工作的内容进行拆分给其他的同事进行处理。整个过程大致如下图由上图可以看到这个公司通过一个签到本和工作进度表来完成整个流程，每个
林崇辉·2024-01-04 17:26

Apache BookKeeper之MetaData管理

MetaData信息这里主要有两类有效的Bookie的列表用来跟踪哪些Bookie是有效的Ledger的相关信息其相关操作如下:createLedger:创建一个新的Ledger,它拥有一个唯一ID和当前的Version(对应到zk的话，这个version就是znode的dataVersion);removeLedgerMetadata:移除一个Ledger,需要提供当前本地保存的Version,
扫帚的影子·2023-12-29 09:03

认识Apache Bookkeeper

Bookkeeper实现了append方式的写操作。
无醉_1866·2023-12-18 19:27

Apache BookKeeper 简介

自2011年起，BookKeeper开始在Apach
StreamNative·2023-11-25 20:11

如何理解 Pulsar 中 backlog，TTL，Retention 和 Storage Size

本文未经授权，禁止转载，想要转载本文，请联系作者本文是https://www.jianshu.com/p/31e7d4e5aa42系列的第二篇，主要从Pulsar设计的原理以及在BookKeeper中如何存储做一个梳理
wolf4j·2023-11-06 06:56

存储系统中的算法：LSM 树设计原理

学算法认准labuladong后台回复课程查看精品课点击卡片可搜索文章我在上篇文章ApachePulsar的架构设计中介绍了Pulsar存算分离的架构，其中broker只负责计算，由BookKeeper
labuladong·2023-11-05 02:55

Apache Pulsar 消息传递模型(1)-消息模型

发布者发布的每条消息仅存储在主题分区上一次，复制以存储在多个bookies（BookKeeper服务
QuinnSun·2023-10-30 06:19

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
架构大数据双料架构师·2023-10-29 18:13

pulsar集群搭建_亲测成功

pulsar集群搭建_亲测成功单机运行请看:LinuxMacBook单机部署Pulsar并开启认证功能集群组成搭建Pulsar集群至少需要3个组件：ZooKeeper集群、BookKeeper集群和broker
beyond阿亮·2023-10-14 05:20

Pulsar 架构概览

一个或多个brokers可以处理与负载均衡producer发送的消息，分发消息到consumers，与配置存储中心GlobalZooKeeper进行通信，来协调多个任务，存储消息到BookKeeper实例中
93张先生·2023-09-24 07:46

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
·2023-09-20 12:59

Apache Pulsar集群搭建部署2.9.3

集群架构Broker一个或多个Broker处理和负载接受到的生产者发送的消息数据调度消息发送给消费者与Zookeeper进行通信以处理各种协调任务，将消息存储在BookKeeper实例（又称为bookies
小韩加油呀·2023-09-05 10:31

Pulsar集群搭建部署

一、集群组成说明1.搭建Pulsar集群至少需要3个组件：ZooKeeper集群、BookKeeper集群和broker集群（Broker是Pulsar的自身实例)。
weixin_33775572·2023-09-05 10:00

Apache Pulsar的集群模式部署

文章目录ApachePulsar分布式集群模式构建一、准备工作二、配置修改2.1bookkeeper配置2.2broker配置三、分布式集群模式启动3.1启动zookeeper集群3.2初始化元数据3.3
苍穹原野·2023-09-05 10:59

Pulsar集群搭建

本文介绍一下pulsar的集群搭建（在3台linux服务器上）1.集群组成1.1搭建Pulsar集群至少需要3个组件：ZooKeeper集群、BookKeeper集群和broker集群（Broker是Pulsar
小刘想学架构·2023-09-05 10:28

pulsar集群搭建_亲测成功

pulsar集群搭建_亲测成功单机运行请看:LinuxMacBook单机部署Pulsar并开启认证功能集群组成搭建Pulsar集群至少需要3个组件：ZooKeeper集群、BookKeeper集群和broker
阿亮说技术·2023-09-05 10:27

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
crossoverJie·2023-09-02 05:37

聊聊 Pulsar： Pulsar 分布式集群搭建

一、集群搭建要求1.1搭建设计搭建Pulsar集群至少需要3个组件：ZooKeeper集群、Bookkeeper集群和Broker集群（Broker是Pulsar的自身实例）。
老周聊架构·2023-09-01 13:41

使用 SQL 的方式查询消息队列数据以及踩坑指南

消息列表点击详情后查看轨迹原理介绍由于Pulsar并没有关系型数据库中表的概念，所有的数据都是存储在Bookkeeper中，为了模拟使用SQL查询的效果Pulsar提供了Presto(现在已经更名为Trino
·2023-08-31 08:48

下半年的计划

1.学车理论及考试，上车练习2.和女儿一起学音乐和钢琴3.学习和完成家里bookkeeper任务4.房产项目学习和开发5.多做一些美食，学新菜和烘焙6.规律运动，冥想，7.每天坚持陪孩子中英文阅读8.坚持学英语
大林小沐·2023-08-06 21:07

Apache Pulsar 多层抽象layer2-逻辑存储体系

本文仅在Pulsar的背景下介绍BookKeeper。image.pngBookKeeper将数据存储至集群中的节点上，每个BookKeeper节点称为Bookie。
QuinnSun·2023-07-25 20:02

Apache Pulsar 多层抽象layer3-Bookie存储

BookKeeper中存储的实现是可拔插的，Pulsar默认使用名称为DbLedgerStorage的存储实现。
QuinnSun·2023-07-17 11:23

Pulsar 快速开始（集群搭建+Java demo）

ApachePulsar集群部署手册1集群组成搭建Pulsar集群至少需要3个组件：ZooKeeper集群、BookKeeper集群和broker集群（Broker是Pulsar的自身实例)。
赶考书生_c27f·2023-07-17 09:08

新一代MQ apache pulsar的架构与核心概念

Pulsar基本架构Pulsar采用存储计算分离的架构，pulsar使用了bookkeeper做消息的存储，bookkeeper保证了消息存储的可靠性和高效性，bookkeeper为pulsar提供了存储的扩展能力
无醉_1866·2023-07-14 00:04

English Learning - L2 第 13 次小组纠音 复习元音 [ʊ] [ɪ] [e] [ə] 摆拍爆破 谦让爆破 r 连接音 2023.4.8 周六

e][ə]摆拍爆破谦让爆破r连接音2023.4.8周六共性问题cookeryfoot/ˈkʊkərifʊt/paper/ˈpeɪpə/bread/bred/sentence/ˈsentəns/摆拍爆破bookkeeper
wumingxiaoyao·2023-04-15 16:29

Pulsar的存储计算分离设计：全新的消息队列设计思路

存储消息的职责从Broker中分离出来，交给专门的BookKeeper存储集群。这样Broker就变成了无状态的节点，在集群调度和故障恢复方面更加简单灵活。先来看图中右
Nic-zm·2023-04-14 09:05

消息队列 pulsar 架构学习

comparing-pulsar-and-kafka-how-a-segment-based-architecture-delivers-better-performance-scalability-and-resiliencePulsar基础架构一个pulsar集群由两层构成：无状态的服务层，由多个brokers组成，负责发送和接受消息有状态的持久化层，由多个BookKeeper
空腹熊猫·2023-04-06 07:36

【pulsar学习】pulsar架构原理

文章目录1pulsar集群组成2Broker层：无状态服务层3Bookkeeper层：持久化存储层3.1相关名词解释3.2读写流程3.3Segment为中心的存储的优势4总结【pulsar学习系列】【pulsar
hhhSir'blog·2023-04-06 06:24

云原生时代顶流消息中间件Apache Pulsar部署实操-上

文章目录安装运行时Java版本推荐LocallyStandalone集群启动验证部署分布式集群部署说明初始化集群元数据部署BookKeeper部署BrokerAdmin客户端和验证TieredStorage
IT小神·2023-04-03 13:59

hdfs的高可用性HA

为了解决这个问题，出现了一堆针对HDFSHA的解决方案（如：LinuxHA,VMwareFT,sharedNAS+NFS,BookKeeper,QJM/QuorumJournalManager,BackupNode
wonderful_life_mrchi·2023-04-02 05:01

Pulsar 架构

（我也不明白，集群不就是好多机器提供同一种服务嘛，干嘛还有多集群）2，Cluster在一个PulsarCluster中，由三个部分：一个或者多个Broker一个BookKeeper集群一个ZooKeeper
大神学家·2023-03-31 11:29

《Apache Pulsar从入门到实战》系列教程第9讲之pulsar架构原理

pulsar集群由以下三部分组成：多个broker负责处理和负载均衡producer发出的消息，并将这些消息分派给consumer；broker和pulsar配置存储交互来处理相应的任务，并将消息存储在bookkeeper
小米吃辣椒2022·2023-03-31 10:51

Apache Pulsar 多层抽象概念

设计理念保证不丢失消息(使用正确的配置且不是整个数据中心故障)强顺序性保证可预测的读写延迟ApachePulsar选择一致性而不是可用性就像BookKeeper和Zookeeper一样。
QuinnSun·2023-03-23 12:46

Apache Bookkeeper的启动流程解析

ApacheBookkeeper的启动流程解析全局main函数实现启动代码位于bookkeeper-server/src/main/java/org/apache/bookkeeper/server/Main.java
扫帚的影子·2023-02-18 12:32

Apache Pulsar——Bookkeeper架构

自2011年起，BookKeeper开始在ApacheZooKeeper下作为子项目孵化，并于2015年1月作为顶级项目成功问世。
小波同学·2023-02-13 09:24

Apache Pulsar 多层抽象layer3-Broker缓存

Broker可以将日志的尾部缓存在内存中，这意味着Broker可以不需要BookKeeper的情况下为读取尾部数据的操作提供服务。这样避免了网络的开销以及Bookie上可能的磁盘读取。
QuinnSun·2023-02-03 20:25

浅谈存储系统：LSM 树设计原理

我在上篇文章ApachePulsar的架构设计中介绍了Pulsar存算分离的架构，其中broker只负责计算，由BookKeeper负责底层的存储，我还画了这样一张图说明BookKeeper读写分离的设计
·2023-01-04 10:35

【Pulsar 精选】从架构角度对比 Pulsar 和 Kafka

而BookKeeper和ZooKeeper是有状态服务。BookKeeper节点（Bookie）存储消息和游标，ZooKeeper则只用于为Broker和Bookie存储元数据
熊本极客·2022-08-30 20:29

翟佳：高可用、强一致、低延迟——BookKeeper的存储实现

分享嘉宾：翟佳StreamNative联合创始人编辑整理：张晓伟美团点评出品平台：DataFunTalk**导读：**多数读者们了解BookKeeper是通过Pulsar，实际上BookKeeper在数据库和存储场景都有着非常广泛的应用
DataFunTalk·2022-07-22 14:00

深入解析 Apache BookKeeper 系列：第二篇 — 写操作原理

本系列文章基于ApachePulsar中配置的BookKeeper4.14版本。写操作中有很多线程调用Journal和LedgerStorage的API。
·2022-04-16 09:41

博文推荐｜深入解析 BookKeeper 多副本协议（一）

本文翻译自《AGuidetotheBookKeeperReplicationProtocol(TLA+SeriesPart2)》，作者JackVanlightly。原文链接：https://medium.com/splunk-maa...。译者简介王嘉凌@中国移动云能力中心，移动云Pulsar产品负责人，ApachePulsarContributor，活跃于ApachePulsar等开源项目和社区
·2022-04-01 11:52

BookKeeper PMC 成员翟佳受邀参与 DataFunSummit 大数据存储架构峰会

2022年3月26日，第二届DataFunSummit大数据存储架构峰会即将于线上举办，StreamNative联合创始人、ApachePulsarPMC成员、ApacheBookKeeperPMC成员翟佳受邀出席本次大数据存储架构峰会。据悉，本次峰会将由6位主席，联合7位出品人，邀请业界50余位一线技术专家出席并进行主题报告分享。去年，第一届DataFunSummit吸引了超过4500的受众来参
·2022-03-26 16:21

宝藏公司一StreamNative

主要从事实时计算和分布式存储系统的相关开发，在开源项目ApacheBookKeeper,ApachePulsar等项目中持续贡献代码，目前是Pulsar和BookKeeper开源项目PMC成员。
·2022-03-16 13:28

聊聊 Pulsar： Pulsar 分布式集群搭建

一、集群搭建要求1.1搭建设计搭建Pulsar集群至少需要3个组件：ZooKeeper集群、Bookkeeper集群和Broker集群（Broker是Pulsar的自身实例）。
·2022-03-02 23:29

VUE 记账凭证模块组件的示例代码

：记账凭证单据号:{{voucher.numberId}}摘要会计科目借方金额亿千百十万元角分贷方金额{{item.summart}}{{item.subject}}合计：制单人:{{voucher.bookkeeper
·2022-03-01 18:30

90个世界级冷门知识（每日十个）。seven

“bookkeeper”是英语中唯一一个连续3次重
灵动的笔尖·2022-02-09 19:10

Apache Pulsar集群搭建部署详细过程

目录一、集群组成说明二、安装前置条件三、ZooKeeper集群搭建四、BookKeeper集群搭建五、Broker集群搭建六、docker安装pulsar-dashboard一、集群组成说明1、搭建Pulsar
·2022-02-08 11:44

Apache BookKeeper中数据目录分析

ApacheBookKeeper中数据目录分析需要落盘的数据Journals这个journals文件里存储的相当于BookKeeper的事务log或者说是写前log,在任何针对ledger的更新发生前，
扫帚的影子·2022-02-07 16:52

从 RocksDB 看 LSM-Tree 算法设计

Pulsar使用BookKeeper作为存储层，BookKeeper底层使用到了RocksDB来保存Entry(BookKeeper中的数据存储单元)对应的位置索引。
·2021-12-29 16:36
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他