Debezium for mysql connector配置项整理

Debezium mysql 连接器属性

原文链接:http://debezium.io/docs/connectors/mysql/#connector-properties

属性 默认值 属性含义
name 连接器的名字,不能和其他连接器的名字重复,如果用已经存在的连接器名字去注册会失败。这个属性也是所有Kafka Connect连接器都需要的属性
connector.class 连接器的java类,对于MySQL连接器来说,总是io.debezium.connector.mysql.MySqlConnector
tasks.max 1 连接器创建的最大的任务数,MySQL连接器总是使用单任务,所以用不到这个值,默认的就可以了。
database.hostname MySQL数据库服务器的IP地址或者主机名
database.port 3306 MySQL数据库服务器的端口号
database.user 连接数据库的用户名
database.password 连接数据库的密码
database.server.name host:port debezium监控的MySQL服务器/集群的逻辑名。这个逻辑名应该在所有连接器中唯一,因为这个会用在Kafka topic的前缀,默认是’host:_port_’这样,host就是上面的database.hostname属性值,port就是上面的database.port属性值。但是我们推荐使用明确的、有意义的名字。
database.server.id random 数据库客户端(debezium连接器)数字id,在数据库集群中应该唯一。其实连接器用这个id,以一个数据库服务器的身份加入数据库集群,这样才能够读取binlog文件。默认情况下,随机数在5400到6400之间,推荐显示设置一个值。
database.history.kafka.topic kafka topic的全名,连接器将把数据库的schema历史信息存入这个topic中。
database.history.kafka.topic.bootstrap.servers 用于连接Kafka集群的host/port对。这个连接将用于获取连接器此前存放的数据库schema历史,并且把从源数据库(被监控的数据库)中读取到的DDL语句写入到这个Kafka集群中。这个连接参数应该和Kafka Connect用的集群一致。
database.whitelist 空字符串 用逗号隔开的正则表达式列表,可以匹配多个被监控的数据库名称,不在白名单中的数据库不会被debezium连接器监控。默认情况下,所有的数据库都会被监控。不能和database.blacklist同时使用。
database.blacklist 空字符串 用逗号隔开的正则表达式列表,用来匹配不想监控的数据库。任何不在黑名单中的数据库都会被监控。不能和database.whitelist同时使用。
table.whitelist 空字符串 逗号分割的正则表达式列表,用于匹配要监控的表的全名(数据库名.表名)。不同和table.blacklist同时使用经过实践,发现表白名单和数据库白名单也不能同时使用。
table.blacklist 空字符串 逗号分割的正则表达式列表,用于匹配不要监控的表的全名(数据库名.表名)。不能和table.whitelist同时使用。经过实践,发现表黑名单和数据库黑名单也不能同时使用。
column.blacklist 空字符串 逗号分割的正则表达式列表,用于匹配不想要监控的列,在事件消息中不会包含的列值。应该是databaseName.tableName.columnName或者databaseName.schemaName.tableName.columnName这样的全限定名。
column.truncate.to.length.chars n/a 逗号分割的正则表达式列表,用于匹配需要在事件消息中截短的列名。一个配置列表中可以配置多个不同的长度。列名应该是databaseName.tableName.columnName或者databaseName.schemaName.tableName.columnName这样的全限定名。

你可能感兴趣的:(kafka,java,数据库)