Debezium发布历史31

原文地址： https://debezium.io/blog/2018/03/16/note-on-database-history-topic-configuration/

欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.

关于数据库历史主题配置的注意事项
三月 16, 2018 作者： Gunnar Morling
mysql
MySQL Debezium 连接器的用户告诉我们连接器内部数据库历史主题的配置存在潜在问题，这可能会导致删除该主题的部分内容 ( DBZ-663 )。如果您使用的是 Debezium MySQL 连接器版本 0.7.3 或 0.7.4，请继续阅读。

问题是关于什么的？
在 Debezium 0.7.3 中，我们推出了一项功能，用于在数据库历史记录尚不存在时自动创建该历史记录 ( DBZ-278 )。虽然此功能将主题的保留时间设置为“无限”期限，但它没有为历史主题指定“retention.bytes”选项。如果满足以下所有条件，这可能会导致部分历史主题被删除：

您正在使用 MySQL 的 Debezium 连接器版本 0.7.3 或 0.7.4

数据库历史主题已由连接器创建（即您尚未自己创建）

代理级别选项“log.retention.bytes”设置为除 -1 之外的其他值（请注意，默认值为-1，在这种情况下，一切按预期工作）

数据库历史主题增长超过通过“log.retention.bytes”配置的阈值

如果历史主题不完整，连接器重新启动后将无法恢复数据库历史记录，并且不会继续读取 MySQL binlog。

如何预防这个问题？
您应该自己创建具有无限保留的数据库历史主题，或者覆盖连接器创建的历史主题的“retention.bytes”配置：

/bin/kafka-configs.sh
–zookeeper zookeeper:2181
–entity-type topics
–entity-name
–alter
–add-config retention.bytes=-1
如果历史主题的部分内容已被删除，您可以使用快照模式schema_only_recovery重新创建历史主题，以防自连接器上次提交偏移量以来没有发生架构更改。或者，应该拍摄完整的新快照，例如通过设置新的连接器实例。

下一步
我们将在下周初发布 Debezium 0.7.5，修复此问题。请注意，应如上所述重新配置先前创建的数据库历史记录主题。如果您对此问题还有任何疑问，请随时通过下面的评论、聊天室或邮件列表与我们联系。

原文地址： https://debezium.io/blog/2018/03/20/debezium-0-7-5-released/

Debezium 0.7.5 发布
三月 20, 2018 作者： Gunnar Morling
发布 mysql postgres mongodb docker
我很高兴地宣布 Debezium 0.7.5发布！

这是 0.7 发行版的错误修复版本，我们在开发 Debezium 0.8 时决定这样做。最值得注意的是，它修复了 0.7.3 ( DBZ-663 ) 中引入的一个不幸的错误，其中 Debezium MySQL 连接器的内部数据库历史主题在某些特定条件下可能会被部分删除。请参阅有关此问题的专门博客文章，了解这是否会影响您以及您应该采取哪些措施来防止此问题。

与此同时，我们还发布了一些其他修复和改进。感谢Maciej Brynski ，逻辑表路由SMT的性能得到了显着提高（DBZ-655）。Maciej 贡献的另一个修复是针对DBZ-646，它现在允许 MySQL 连接器处理CREATE TABLETokuDB 存储引擎的语句。

我们出色的社区还修复了更多错误：长期社区成员Peter Goransson修复了有关 MySQL 连接器的快照 JMX 指标的问题，现在在快照完成后也可以访问这些指标 ( DBZ-640 )。Andrew Tongen发现并修复了 Debezium 嵌入式引擎 ( DBZ-665 ) 的一个问题，该问题导致提交的偏移量超出了需要的频率。Matthias Wessendorf将 Debezium 依赖项和 Docker 镜像升级到 Apache Kafka 1.0.1 ( DBZ-647 )。

感谢大家的帮助！

请参阅更改日志以获取 Debezium 0.7.5 中更改的完整列表。

下一步是什么？
请参阅之前的发布公告以了解下一个计划的功能。不过，由于 0.7.5 版本未按计划发布，下一个版本的时间表可能会稍微延长一些。