Debezium发布历史01

原文地址: https://debezium.io/blog/2016/03/18/Debezium-0-1-Released/

Debezium 0.1 发布
2016 年 3 月 18 日 作者: Randall Hauch
发布 mysql docker

欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯.

Debezium 是一个分布式平台,可将现有数据库转换为事件流,因此应用程序几乎可以立即查看并响应数据库中每个提交的行级更改。Debezium 构建在Kafka之上,并提供与Kafka Connect兼容的连接器来监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录,因此您的应用程序可以随时停止和重新启动,并且可以轻松消耗其未运行时错过的所有事件,确保所有事件都得到正确、完整的处理。Debezium 是根据Apache 许可证版本 2.0开源的。

现在好消息 —  Debezium 0.1 现已推出,并包含几个重要功能:

MySQL 连接器,用于监控 MySQL 数据库。它是 Kafka Connect 源连接器,因此只需将其安装到 Kafka Connect 服务中(见下文)并使用该服务的 REST API 来配置和管理每个 DBMS 服务器的连接器。连接器读取 MySQL binlog,并为受监控数据库中每个提交的行级修改生成数据更改事件。MySQL 连接器根据行更改时的表结构生成事件,并自动处理表结构的更改。

一个小型库,因此应用程序可以嵌入任何 Kafka Connect 连接器并使用直接从源系统读取的数据更改事件。这提供了一个轻得多的系统(因为不需要 Zookeeper、Kafka 和 Kafka Connect 服务),但结果是容错性或可靠性不高,因为应用程序必须维护通常保存在 Kafka 的分布式和复制日志中的状态。因此,应用程序完全负责管理所有状态。

尽管 Debezium 的真正目的是用作交钥匙服务,但 Debezium 的所有 JAR 和其他工件都可以在Maven Central中找到。我们的发行说明中概述了有关功能、任务和错误的详细信息。

为了更轻松地在您自己的 Kafka Connect 服务中使用 Debezium 的连接器,我们创建了一个插件存档(zip 和 tar.gz 格式),其中包括连接器使用的所有 JAR(尚未包含在 Kafka Connect 0.9.0.1 中)。只需下载、解压到您的 Kafka Connect 0.9.0.1 安装中,然后将所有 JAR 添加到服务的类路径中即可。服务重新启动后,您可以使用 REST API 来配置和管理用于监视您选择的数据库的连接器实例。MySQL 连接器插件存档位于 Maven Central,因此甚至可以使用 Maven 构建定制的 Kafka Connect 服务。我们也将为未来的连接器生成这些插件。

Debezium 平台在 Zookeeper、Kafka 和 Kafka Connect 中有很多移动部件。为了让您更轻松地尝试和使用它,我们创建了Docker 镜像和教程它将引导您完成 Debezium 的使用。首先,它让您使用 Docker 为每个服务启动一个容器,以及一个带有示例“库存”数据库的 MySQL 服务器。它向您展示了如何使用 RESTful API 注册连接器来监视库存数据库、如何观察各个表的数据更改流,以及更改数据库如何以非常低的延迟产生新的更改事件。它还引导您关闭 Kafka Connect 服务,在服务未监视数据库时更改数据,然后重新启动 Kafka Connect 服务,以查看如何仍然正确捕获服务未运行时发生的所有数据更改在溪流中。本教程确实是交互式学习 Debezium 基础知识和更改数据捕获的好方法。

我们希望您发现 Debezium 有趣且有用,并想尝试一下。在 Twitter @debezium上关注我们,在 Gitter 上与我们聊天,或加入我们的邮件列表与社区交谈。所有代码都在 GitHub 上开源,因此可以在本地构建代码并帮助我们改进 MySQL 连接器并添加更多连接器。如果您发现问题或对我们如何改进 Debezium 有想法,请告诉我们或记录问题。我们计划很快发布 0.2 版本,并至少添加一个连接器。

感谢 Emmanuel、Chris、Akshath、James 和 Paul 在发布、提问和讨论方面提供的帮助!

关于Debezium
Debezium 是一个开源分布式平台,可将现有数据库转换为事件流,因此应用程序几乎可以立即查看并响应数据库中每个提交的行级更改。Debezium 构建在Kafka之上,并提供与Kafka Connect兼容的连接器来监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录,因此您的应用程序可以随时停止和重新启动,并且可以轻松消耗其未运行时错过的所有事件,确保所有事件都得到正确、完整的处理。Debezium 是根据Apache 许可证版本 2.0开源的。

参与其中
我们希望您发现 Debezium 有趣且有用,并想尝试一下。在 Twitter @debezium上关注我们,在 Zulip 上与我们聊天,或加入我们的邮件列表与社区交谈。所有代码都是GitHub 上的开源代码,因此可以在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现问题或对我们如何改进 Debezium 有想法,请告诉我们或记录问题。

你可能感兴趣的:(debezium,CDC,FlinkCDC,数据库,大数据)