助力社区|StreamNative Hub 升级,助你快速高效开发 Pulsar Connector!

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性。

为什么选择 Pulsar Connector?

Pulsar 通过 connector[1] 可与外部系统轻松、快速集成。根据 2021 Pulsar 用户调查报告(将于本月内发布),30% 的 Pulsar 用户使用 connector,connector 是 Pulsar 最常用的功能之一。
为了促进 connector 的开发并提高其易用性,我们于 2020 年推出了 StreamNative Hub[2],支持查找、下载、使用、存储和共享 Pulsar 相关插件等多项操作,并提供广泛的 Pulsar 集成。Hub 自上线以来,新增了大量的 connector,广受欢迎的 Pulsar Connector 插件包括 AWS SQS connector[3]、AWS Lambda connector[4]、AMQP1_0 connector[5]、IoTDB connector[6] 等。
相比于 Hub 推出初期,Pulsar connector 的开发和使用更易上手,本文主要介绍 StreamNative Hub 近期的更新,让你可以更容易地开发和使用 connector!
助力社区|StreamNative Hub 升级,助你快速高效开发 Pulsar Connector!_第1张图片

关于 StreamNative Hub

StreamNative Hub[7] 是一个应用程序商店,提供大量 Pulsar 插件和集成,用于开发事件流应用程序。 其关键组件包括:

  • Connector:允许用户将流数据迁入和迁出 Pulsar,助力企业更轻松地将 Pulsar 引入其现有基础架构,简化系统集成。StreamNative Hub 支持用户使用 Pulsar 的全部内置 connector。
  • Offloader:允许用户将历史数据从 BookKeeper 卸载到外部远程存储,节约数据存储成本,且可以随数据量轻松扩展。
  • 协议处理程序:允许用户在运行 Pulsar 时原生并动态支持其他消息协议(例如,Kafka、AMQP 和 MQTT)。在无需修改代码即可使用 Pulsar 的企业级功能,极大地简化了操作。。

助力社区|StreamNative Hub 升级,助你快速高效开发 Pulsar Connector!_第2张图片

本文主要介绍关于 connector 的最新动态,以及这些改进如何简化了 Pulsar connector 的开发和使用。
随着 Pulsar Connector 使用者和贡献者数量的不断增加,我们得以根据用户需求提高 StreamNative Hub 的易用性,以下章节详细介绍了 StreamNative Hub 的相关改进。

Pulsar Connector 新版开发手册

为了简化 Pulsar 与外部系统的集成,我们编写了新版开发指南—— Pulsar Connector 开发手册[8],为开发者的 connector 开发工作提供参考。

  • 开发新 Connector:如果你需要在 Pulsar 和其它系统之间传输数据(这些系统暂时没有 Pulsar connector),推荐你阅读 Pulsar connector 开发手册[9]!你将了解如何开发 connector、如何贡献 connector 到 StreamNative Hub 等其它详细信息。为了简化开发,手册中也提供了代码和文档的模板。
  • 宣传推广现有 Connector:如果你想贡献 connector 给社区,你可以将其托管在任意公共仓库,并在 StreamNative Hub 上显示。按照 Pulsar connector 开发手册[10]中的说明,仅需一行代码,即可将文档同步到 StreamNative Hub。

StreamNative Hub 未来计划

我们一直在寻找改进 StreamNative Hub 的新方法,也在尝试进行其他升级,例如,添加更全面的测试,提高 connector 的可用性、可靠性和性能;支持通过 GUI 工具在云上部署和使用 connector 等。敬请关注!

贡献 Connector

如果你是 connector 开发者,我们推荐你将 connector 添加到 StreamNative Hub!在 StreamNative Hub 中,你的 connector 将会被更多人了解和使用,加快其开发进程,与此同时,你也将为日益壮大的 Pulsar 生态系统做出贡献。

加入 Pulsar 社区

除了添加 connector 之外,你还可以通过其他方式做出贡献,如:

  • 改进文档!StreamNative Hub 上所有 connector 文档[11]已开源。你可以随时通过 GitHub 提交修改(更正拼写错误、添加说明等)。
  • 报告 bug。
  • 审阅 PR。
  • 对提议的功能、改进或设计做出反馈。
  • 提议新功能。
  • 回答 GitHub issue 或微信群中的问题。

现在参与

点击查看快速入门指南[12],赶快参与吧!

相关阅读

  • StreamNative 宣布开源 Function Mesh:简化云上的复杂流任务
  • 产品动态 | StreamNative 宣布开源 AMQP 1.0 Connector
  • 产品动态 | StreamNative 宣布开源 AWS SQS Connector

引用链接
[1] connector: https://pulsar.apache.org/doc...
[2] StreamNative Hub: https://streamnative.io/en/bl...
[3] AWS SQS connector: https://streamnative.io/en/bl...
[4] AWS Lambda connector: https://github.com/streamnati...
[5] AMQP1_0 connector: https://streamnative.io/en/bl...
[6] IoTDB connector: https://github.com/streamnati...
[7] StreamNative Hub: https://streamnative.io/en/bl...
[8] Pulsar Connector 开发手册: https://github.com/streamnati...
[9] Pulsar connector 开发手册: https://github.com/streamnati...
[10] Pulsar connector 开发手册: https://github.com/streamnati...
[11] connector 文档: https://github.com/streamnati...
[12] 快速入门指南: https://github.com/streamnati...

关于 StreamNativeStreamNative 是一家开源基础软件公司,由 Apache 软件基金会顶级项目 Apache Pulsar 创始团队组建而成,围绕 Pulsar 打造下一代云原生批流融合数据平台。StreamNative 作为 Apache Pulsar 商业化公司,专注于开源生态和社区构建,致力于前沿技术领域的创新,创始团队成员曾就职于 Yahoo、Twitter、Splunk、EMC 等知名大公司。

关注 StreamNative公众号,了解 Pulsar 周边生态与 StreamNative 产品

你可能感兴趣的:(pulsar)