Note_Logistics_Day10

---

stypora-copy-images-to: img
typora-root-url: ./

Logistics_Day10：主题及指标开发

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5tzbu1dW-1622190651887)(img/1613867341272.png)]

01-[复习]-上次课程内容回顾

​ 主要讲解：实时ETL转换开发，编写结构化流（StructuredStreaming）程序，实时从Kafka消费数据，进行ETL转换处理，最终保存到Kudu存储引擎（表中）。

从分布式消息队列Kafka中消费数据，每个业务系统业务数据存储在1个Topic中。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LTWcIU5m-1622190651889)(img/1613867908777.png)]

• 1）、加载数据：load方法，从Kafka中实时消费数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJE9HREI-1622190651892)(/img/1616289593328.png)]

• 2）、处理数据：process