“数据是应用、流程和商业决策的核心。”
亚马逊云科技数据库、
数据分析和机器学习全球副总裁
Swami Sivasubramanian
如今,客户常用的数据传输模式是建立从 Amazon Aurora 到 Amazon Redshift 的数据管道。这些解决方案能够帮助客户获得新的见解,进而推动销售增长、降低成本、优化业务。
为助力客户将重心从分析数据转向从数据中创造价值,亚马逊云科技在 re:Invent 2022 上发布了 Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成,并在2023年6月推出了 Amazon Aurora MySQL 兼容版本的公开预览版。
Amazon Aurora MySQL
与 Amazon Redshift的 Zero-ETL 集成
现已全面可用!
采用这一全托管解决方案,用户无需构建或维护复杂的数据管道,便可从事务数据中获取具有时效性的见解,为关键的业务决策提供信息。
本文将讲解一些操作步骤,教您如何轻松上手。了解更多该解决方案的应用与意义,欢迎您阅读 《Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成现全面可用》。
现在开始轻松上手吧!
我们将使用现有的 Amazon Aurora MySQL 无服务器数据库和 Amazon Redshift 数据仓库。
首先,前往 Amazon RDS 控制台,然后在 Zero ETL 集成页面上选择“创建 Zero ETL 集成”。
我们需要在“创建 Zero ETL 集成”页面上操作几个步骤,为 Amazon Aurora 数据库集群和 Amazon Redshift 数据仓库配置集成。
接下来,需要为集成定义一个标识符,然后选择“下一步”。
在下一个页面,选择“浏览RDS数据库”来选择源数据库。
在这一步可以将现有数据库选为源数据库。
下一步会询问目标 Amazon Redshift 数据仓库。在这一步,可以灵活选择我的账户或其他账户中的 Amazon Redshift Serverless 或 RA3 数据仓库。本次选的是“浏览 Redshift 数据仓库”。
然后选择目标数据仓库。
因为 Amazon Aurora 需要复制到数据仓库中,所以需要添加额外的资源策略,并将 Aurora 数据库添加为 Amazon Redshift 数据仓库中的授权集成源。
为了解决这个问题,可以在 Amazon Redshift 控制台中选择手动更新,或者让 Amazon RDS 来帮助解决,即勾选此处的复选框。
下一个页面会显示 Amazon RDS 将为我们执行的更改。选择“继续”。
可以在下一个页面配置标签和加密。Zero ETL 集成会默认使用亚马逊云科技密钥管理服务(Amazon KMS)对数据进行加密,也可以选择使用自己的密钥。
然后需要核对所有配置,并选择“创建 Zero ETL 集成”来创建集成。
Zero ETL 集成在几分钟后便会成功创建。然后切换到 Amazon Redshift,可以在“Zero ETL 集成”页面看到最近创建的 Zero ETL 集成。
由于这个集成目前还没有 Amazon Redshift 中的目标数据库,所以需要创建一个。
现在集成配置已经完成了。可以在这个页面上看到,集成现在是激活状态,已经复制了一个表格。
为了测试,我们在 Amazon Aurora 数据库中新建了一个表格,并在该表中插入一条记录。
然后切换到 Amazon Redshift 中的 Redshift Query Editor v2。可以在这里连接到作为集成的一部分而创建的数据库。可以运行一个简单的查询,看到 Amazon Redshift 中已经有了我们的数据。
Zero ETL 集成非常方便,原因有二:第一,可以将多个数据库集群的所有数据整合到一起并进行汇总分析;第二,事务数据不出几秒就会被写入 Amazon Aurora MySQL,也就是说 Zero ETL 集成的数据能与 Amazon Redshift 无缝衔接。
注意事项
可用性:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成目前的可用区域包括美国东部的俄亥俄、弗吉尼亚北部,美国西部的俄勒冈,亚太地区的新加坡、悉尼、东京,以及欧洲的法兰克福、爱尔兰和斯德哥尔摩。
支持的数据库引擎:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成目前支持Amazon Aurora MySQL 的兼容版本。支持 Amazon Aurora PostgreSQL 的兼容版本目前正在开发中。
定价:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成无需额外费用。用户只需为创建和处理 Zero ETL 集成所创建的变更数据的现有 Amazon Aurora 和 Amazon Redshift 资源付费。
我们距离目标更近了一步:让您能够更专注于利用数据创造价值,而非为数据分析做准备。想要了解更多如何上手操作的资讯,请点击“阅读原文”或扫描下方二维码进入 Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成页面。
祝各位集成愉快!
本篇作者
Donnie Prakoso
亚马逊云科技首席开发者布道师。他在电信、银行和初创企业等技术行业拥有超过17年的经验。他现在的工作重点是帮助开发人员了解各种技术,将他们的想法转化为实践。他热爱喝咖啡,自诩为“咖啡师”,也热衷于探讨微服务、人工智能/机器学习等各种话题。
星标不迷路,开发更极速!
关注后记得星标「亚马逊云开发者」
听说,点完下面4个按钮
就不会碰到bug了!