Debezium发布历史107

原文地址： https://debezium.io/blog/2021/08/02/debezium-1-7-alpha1-released/

欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.

Debezium 1.7.0.Alpha1 Released
August 2, 2021 by Jiri Pechanec
releases mysql postgres sqlserver cassandra oracle db2 vitess outbox

我很荣幸地宣布第一个发布的德贝兹1.7系列, 1.7.0.Alpha1 !

随着整个夏季的全面展开,这个版本带来了额外的改进,对Debezum甲骨文连接器,也对其他。

替代甲骨文连接器记录处理器
甲骨文的Debezum连接器使用内存内缓冲区缓存正在进行中的事务更改,直到事务被提交或回滚。这个缓存可能需要一个重要的内存足迹,这取决于事务中的事件数量、正在进行的并发事务的数量以及代表每个事件的数据本身,例如大字符或二进制对象。对于一些有长期交易的环境,这可能很难管理。

此版本引入了对连接器处理代码的重要重构,允许处理日志更改事件的不同模式。基于内存的实现仍然是默认的,但是我们已经包括了一个基于 无穷的 分布式数据存储。这种实现使跟踪任何数量的正在进行的事务成为可能,无论其规模或持续时间如何。

为了利用新的无限系统实现,必须提供以下配置选项:

log.mining.buffer.type=infinispan
log.mining.buffer.location=/path/to/shared/storage
由于这是早期工作,新的无限缓冲模式目前有一些限制:

不向用户公开英菲尼斯潘配置以进行调整

只支持基于文件的缓存存储;如果使用多节点卡夫卡连接集群,则必须为缓存存储使用网络文件系统,以支持重新平衡连接集群中的连接器任务

这不应该阻止您给它一个测试驱动器,并发送尽可能多的反馈给我们进一步的改进。我们希望在下一个版本中取消上述限制。

渐进式快照
1.6版的主要功能也有了新的改进。甲骨文的Debezum连接器现在和其他连接器一样支持增量快照,因此甲骨文用户现在可以很容易地将新表添加到捕获列表中,并在飞起来的时候将它们快照。

对于mysql连接器,有一种新的增量快照模式,可以用于不允许写入信号表的数据库。 凯特·加里耶娃 发明了一种基于Gtid列表的方法,该方法可以用于提供水印而无需向数据库写入。谢谢你的贡献!

一起来, 49个问题 已经做好了准备。感谢所有社区成员的贡献:布莱克佩诺, 阿尔福菲尼·杰洛 , 周冰琴 , 侯赛因托拉比 , 卡特琳娜·加里耶娃 , 凯利杰克斯 , 马丁·佩雷斯 , 纳温库马尔克尔 , 朱志强 , 帕维尔斯特拉斯金 , 拉斐尔 , 谢尔盖·莫罗佐夫 , 蒂亚戈·丹塔斯 , 丁阮 , 汤米·卡尔松 , 韦卓克 ,以及 阳气 .

对于即将发布的1.7预览版本,我们计划专注于完成甲骨文日志处理器的后续任务,并为基于JDBC流程提供支持。我们将探索对蒙戈数据库的增量快照支持,并对马里亚迪支持进行研究。

释放1.6.1.
虽然团队的重点主要是1.7,但我们最近已经确定了 9期 到1.6流释放 1.6.1.Final .你可以去看看 释放说明 关于细节。我们建议,如果您在1.6之前使用一个版本,请利用这个机会升级并访问最新的新功能!

原文地址： https://debezium.io/blog/2021/08/12/introducing-debezium-ui/

Introducing the Debezium UI
August 12, 2021 by Mark Drilling
releases mysql postgres mongo debezium-ui

我们很高兴地宣布 图形用户界面 !

如宣布的 几个月前 ,我们的团队一直在研究德贝佐姆用户界面概念验证。POC的目标是探索图形化用户界面能够促进Debezum用户的启动和操作体验的方法。

德贝兹非常灵活,每个连接器都可以通过各种方式进行配置和微调。它提供了一些指标,使用户能够深入了解正在运行的Debezu连接器的状态,从而使客户能够安全地操作具有数千个连接器的大型装置中的ccc管道。然而,这种灵活性带来了一个学习曲线,让用户了解所有不同的设置和选项。

为此,我们已经生成了一个用户界面,它将允许用户更容易地设置和操作连接器。用户界面现在可以作为我们社区德贝齐斯版本的一部分使用了!

下面让我们仔细看看用户界面的一些特性。

UI连接器列表
用户界面的主页面显示所有注册的连接器。主页的一些要点如下:

卡夫卡连接集群 可以通过标题中的下拉选择。

连接器表显示了每个连接器的类型(mysql、后格sql、蒙戈数据库)、连接器状态和连接器任务。

可以扩展连接器行,以显示更多的细节,如下所示,"测试服务器"连接器所示。扩展区域显示了度量标准( 注: 这一功能仍在开发中,尚未发挥作用)。显示了连接器任务,能够 重新启动 如果愿意的话。

每个连接器行右侧的肉串菜单提供允许用户使用的操作。 暂停、恢复、重新启动或删除 连接器。
图片来自官网原文

创建连接器向导
用户可按下 创建一个连接器 在主页上按按钮。需要向导的前两个步骤,但其余的步骤是可选的。每个步骤将验证用户条目,并在出现问题时提供反馈。在成功完成步骤1和2之后,用户可以继续到最后页面查看并创建连接器。

创建连接器-连接器类型(需要)
选择步骤1中的连接器类型。目前 蒙戈布、mysql和后格拉基 支持连接器类型。目前正在添加更多的连接器类型。
图片来自官网原文

创建连接器-属性(需要)
所选连接器的基本连接属性在步骤2中输入,在进行之前必须验证这些属性。在此步骤的单独一节中还提供了高级连接属性。在成功的验证之后,用户可以继续执行下一个步骤(附加属性)–或者他们可以选择绕过附加属性并直接进行审查。
图片来自官网原文

创建连接器-附加属性(可选)
其他属性是可选的,可归纳如下:

过滤器定义 -入境 正则表达式 定义过滤器,以包含/排除将包括在疾病预防控制中心的物品。在输入和应用过滤器时显示所包含的项。

数据选项 - 快照 和 绘图 属性(可选)。如果需要,可以查看和更改默认值。

运行时间选项 - 发动机 和 心跳 属性(可选)。如果需要,可以查看和更改默认值。

创建连接器-复习
… 复习 步骤提供将用于创建连接器的配置的摘要。如果对选择满意,请单击"完成"创建连接器。如果属性需要调整,请导航回到之前的步骤。

图片来自官网原文
设计方面的考虑用户界面是作为 夸克斯 -基于网络应用程序。后端配置了一个或多个卡夫卡连接集群的URL,并为前置提供了一个REST接口。正面用户界面使用 Reactjs 作为主要技术,利用 模式蝇 反应组件和设计模式。

与Debezum中的所有内容一样,UI是完全开放源代码(阿帕奇许可证2.0版)。你能找到 UI源代码 在基图布上的德贝兹组织下。

你自己去试
德贝佐姆容器图像
德贝佐姆界面 集装箱图像 可用于运行用户界面。例如。运行下列逗号启动用户界面,并通过码头机将其连接到现有的卡夫卡连接实例(其中卡夫卡连接_URI提供了可用卡夫卡连接URI的逗号分隔列表):

$ docker run -it --rm --name debezium-ui -p 8080:8080 -e KAFKA_CONNECT_URI=http://connect:8083 debezium/debezium-ui:1.7
用户界面通过REST连接到卡夫卡连接,所以您需要确保后者是可到达的,例如。在同一个码头工人网络上运行两个组件。

目前,UI连接到未认证的卡夫卡连接实例。另外,在UI本身中还没有实现授权或身份验证。在这种情况下,您应该确保组件的安全。如果需要的话,可以通过你自己的代理进行授权。

自发的例子
我们还创建了一个独立的例子 UI演示 ,列于 脱贝齐例子 在基特布上。用户界面演示包括一个Dorker组合文件,它提供了多个数据源以及用户界面。请参阅 阅读文件 有关运行德贝齐姆UI演示的更多细节。

欲了解更多有关德贝齐姆用户界面的资料,请参阅 参考文件

下一步
我们计划在即将发布的版本中继续改进UI并为其提供新的功能。审议中的一些项目:

加入更多的Debezum连接器类型,例如用于SQL服务器和甲骨文的连接器类型

增加配置主题创建设置和单一消息转换的能力

增加和改进连接器的度量和监测

添加创建后查看和编辑连接器属性的功能

还有更多!

我们也非常乐意了解你的需求和对Debezum用户界面的反馈。请在下面的评论中告诉我们,或向我们的 邮寄清单 .

非常感谢在很多方面做出贡献的团队:安萨里、舒克拉、张6月、纳丁、克纳和莫林!