金融数据仓库系列-实时数仓

Oracle GoldenGate实时同步

Oracle实时传输到Hadoop集群（HDFS，Hive，Kafka等）的基本原理如图：

根据如上原理，配置大概分为如下步骤：源端目标端配置ogg管理器（mgr）；源端配置extract进程进行Oracle日志抓取；源端配置pump进程传输抓取内容到目标端；目标端配置replicate进程复制日志到Hadoop集群或者复制到用户自定义的解析器将最终结果落入到Kafka中

应用层主要是使用汇总层数据以满足业务需求。应用层主要分三块：

1.通过直接读取指标汇总数据做实时可视化，满足固化的实时报表需求，这部分由实时大盘服务承担；

2.推荐算法等业务直接消费明细汇总数据做实时推荐；

3.通过 程序实时摄入明细汇总数据到 Druid，满足实时多维即席分析需求。

 

我们在实时数仓 中主要以 Flink 的 Streaming SQL 作为实现方案。使用 Streaming SQL 有以下优点：易于平台化、开发效率高、维度成本低等。目前 Streaming SQL 使用起来也有一些缺陷：1.语法和 Hive SQL 有一定区别，初使用时需要适应；2.UDF 不如 Hive 丰富，写 UDF 的频率高于 Hive。