关于Avro schema理解

在做kafka Connect的时候,关于schema registry有几个疑问:

1. schema是个什么,在Avro里面起到了什么作用?

2. schema registry是怎么管理的?

首先第一个问题:

了解一下avro:

https://blog.kazaff.me/2014/07/07/%E6%98%AF%E4%BB%80%E4%B9%88%E7%B3%BB%E5%88%97%E4%B9%8BAvro/

然后什么是schema:

https://zhuanlan.zhihu.com/p/24803426

然后是第二个问题:

我们把所有写入数据需要用到的schema保存在Registry中,然后我们把唯一标识Schema的ID存储在record中发送给kafka。这样的话,利用该ID,我们就可以在需要消费该数据的时候从Schema Registry中拉取合适的schema来反序列化数据。这些标志schema的ID保存在topic中。如下:

关于Avro schema理解_第1张图片

你可能感兴趣的:(hadoop,kafka)