快速构建 SAP ERP 内置数据库 HANA 到 StarRocks 的数据迁移同步任务

简述

SAP HANA 是由 SAP 开发的一款内存列式数据库, 具有预测分析、空间数据处理、文本分析、文本搜索、流分析、图形数据处理等高级分析功能。

HANA 内存列式数据库特性，即启动后可以把所有数据载入内存，相比传统基于硬盘的数据库，性能提升10~10,000倍。

HANA 一般内置在 SAP ERP 系统中提供服务，在制造业应用广泛。

现如今企业尝试建立统一数据分析平台，SAP HANA 保存了ERP相关数据，如何实时同步 HANA 数据到数据平台成为困扰企业的一个难题。

CloudCanal 最新版本已支持 HANA 作为源端迁移同步数据到 StarRocks 来构建实时数仓, 本文简要介绍使用 CloudCanal 快速构建一个 HANA 到 StarRocks 数据迁移同步任务。

技术要点

数据同步整体流程

CloudCanal 实现 HANA 增量数据同步主要使用其触发器捕获变更事件，整体流程如下：

• 安装触发器，通过触发器捕获增量变更数据
• 记录位点，记录增量数据数据同步的起点
• 执行全量数据迁移
• 执行增量数据同步

数据捕获触发器

触发器是一种自动触发执行的存储过程，它可以在数据变更前执行也可以在数据变更后执行，因为本质也是存储过程，所以存储过程支持的操作触发器均支持。

不同数据库对触发器的支持程度不同，HANA 的触发器支持监听 I(新增)/U(更新)/D(删除) 三种事件，因此数据的所有变更都可以通过触发器捕获。

安装触发器的方式与创建存储过程类似，即通过执行 SQL 创建触发器。

通过触发器实现增量数据同步，需要触发器捕获数据的I/U/D变更事件并写入增量 CDC 数据表，数据的变更事件最终都会写到增量 CDC 数据表,执行流程如下：

其他 HANA 同步方案

目前支持同步 HANA 数据的产品还有 Informatica、Qlik 等，实现方案也是通过触发器。

因为 HANA 的触发器不能监听 DDL 变更，因此 CloudCanal 与 Informatica、Qlik 一样，都不支持DDL同步。

操作示例

准备动作

• 下载安装 CloudCanal 私有部署版本,使用参见快速上手文档
• 准备好源端和目标端数据库及对应数据
• 参考 HANA 权限准备 做账号授权

添加数据源

• 登录 CloudCanal ,数据源管理->添加数据源
  

• 创建源端数据源, 选择自建数据源，选择 HANA 并填写相关信息

  默认数据库: 即需要同步的数据所在数据库，常见默认数据库：SYSTEMDB、HXE、DB0

  

• 创建目标端数据源，选择自建数据源，选择StarRocks，并填写相关信息

  Client地址: CloudCanal 用其查询库表表的元数据信息，对应 StarRocks QueryPort，默认端口为 9030

  额外参数 Http地址: StarRocks 接收 streamload 的 http 请求，此处可填写 BE 节点地址，默认端口为 8040 , 如需负载均衡也可直接填写 FE节点 地址和端口，FE节点默认端口 8030

  

• 数据源创建成功
  

任务创建

• 任务管理 > 创建任务
  

• 源端选择 HANA 数据源，目标端选择 StarRocks 数据源，分别点击测试连接按钮并设置数据库映射关系

• 点击下一步
  

• 选择 增量同步，并且勾选 全量初始化

• 点击下一步
  

• 选择订阅的表

• 点击下一步
  

• 配置列映射

• 点击下一步
  

• 点击创建任务
  

• 任务创建成功并启动后，会自动执行结构迁移、全量迁移、增量同步
  

总结

本文简单介绍了如何使用 CloudCanal 进行 HANA 到 StarRocks 数据迁移同步。

StarRocks 作为新兴的实时数仓产品，为传统数据业务带去更加实时、一致的体验，让数据得到更加广泛的使用，CloudCanal希望助一臂之力，让数据流动更加平滑顺畅。