【金猿产品展】ETLCloud—数据集成领域的先行者

‍

谷云科技产品

本产品由谷云科技投递并参与“数据猿年度金猿策划活动——2023中国大数据产业年度创新服务产品榜单/奖项”评选。

大数据产业创新服务媒体

——聚焦数据 · 改变商业

---

全域数据集成平台（简称“ETLCloud”）是谷云科技RestCloud解决大数据量、高合规的数据集成需求的产品，采用微服务架构、全WEB可视化集成与服务发布为一体设计的综合集成解决方案，旨在帮助企业有效地整合和管理来自多个数据源的数据，提供离线集成、实时集成、服务发布、监控等功能，以简化数据集成过程，并确保数据的准确性、一致性和安全性。

目前平台已支持快速连接300+数据源和主流应用系统，无需编码即可快速完成数据同步和传输，不管是IT人员还是业务人员，只需简单几步即可快速完成各种数据抽取同步并配合BI工具实现数据的统计分析，同时支持API服务发布可以快速让数据共享出去，能够最大化降低数据集成的复杂性和成本，并提高数据集成的效率和质量。

2023年重大更新升级

首先，ETLCloud经过不断技术打磨，打造一站式的数据集成解决方案，为企业的数据整合提供了全方位、高效便捷的支持。集齐一体化的ETL（Extract, Transform, Load）、ELT（Extract, Load, Transform）、CDC（Change Data Capture）、API能力。企业可以在一个统一的平台上完成数据的提取、转换、加载，也可以灵活地进行数据的抽取、加载、转换，实时数据的监听和传输，以及API服务的发布。

其次，ETLCloud作为一个大数据集成底座，提供全Web界面，可视化拖拉拽开发流程，让用户能够快速轻松上手的平台；同时，打造数据集成组件生态，支持100+数据库、1000+组件、1500+数据处理模板，零代码构建数据管道，轻松集成数据。

最后，产品提供“中国最大的数据集成社区”，专为数据集成工程师打造的交流和成长平台，社区还提供了丰富学习资源，包括视频、文档、在线直播等，帮助用户轻松掌握平台功能和技巧；目前，社区累计超过5000+企业用户使用。

应用场景/人群

数据整合与共享

集成来自各个部门和系统的数据，实现数据的统一管理和共享，消除信息孤岛，提高信息的流通效率，促进校内各个领域之间的协同与合作。

数据仓库和商业智能

将多个数据源的数据集成到数据仓库中，为企业提供一个集中的数据存储和分析平台。为企业提供全面的数据分析和业务洞察，支持商业智能和决策支持系统的建设。

实时数据集成和分析

支持实时数据集成和流式数据处理，使企业能够及时获取最新的数据，提供实时数据查询、展示，或进行实时分析和决策。

数据湖和大数据处理

集成来自不同数据源的大数据，并将其存储在数据湖中，提供对大数据的集成、存储和处理能力。支持企业进行大数据分析、机器学习和人工智能等高级分析和应用。

跨平台和跨云集成

集成不同平台和云服务商的数据，实现跨平台和跨云的数据集成。帮助企业实现混合云环境的数据整合和管理。

IoT数据集成和分析

集成来自物联网设备和传感器的数据，并进行实时处理和分析，助力企业实现物联网数据的价值挖掘和应用。

产品功能

毫秒级实时数据集成

● 能够自动根据不同的数据库类型捕获数据变化日志可实现数据表的实时毫秒级同步，实时数据可同时并行分发到多个目标库或应用中。

● 支持实时数据传输到Hive、MongoDB、Doris、MQ中，同时也支持从MongoDB、MQ、文件实时传输到SQL数据库中，支持一对多传输，支持多流合并传输，传输过程中支持数据质量检查，能实时把脏数据分发到指定表中并发送告警通知。

离线数据集成

● 平台提供ETL和ELT双引擎模块，用户可根据不同业务场景选择使用ETL或ELT组件。

● ETL可为用户实现复杂的数据集成场景以及数仓反向集成业务系统的ETL过程，同时可为用户快速实现业务数据到数仓及数湖的抽取过程。

● 我们具有单项目上万数据管道的稳定调度实施经验，可为用户提供复杂的数据管道架构方案，以及全球化的数据合规交换。

分钟级数据服务发布

● 依托我们在API领域的强大技术实力，我们可为用户提供业界最为优秀的数据服务发布、数据服务治理等一整套解决方案。

● 通过专业的API低代码开发平台，可实现分钟级数据服务交付速度，为用户快速构建数据即服务平台（DaaS）。

● 针对大型企业我们提供数据服务可视化编排、高性能数据服务网关等全方位的解决方案。

简易上手的数据集成平台

● 零代码可视化设计只需单击几下即可完成数据管道设计；

● 充分优化的数据处理组件可以让任务开发效率大幅提升；

● 自主研发自动分片和多通道并行传输技术极致传输性能；

● 性能平均比主流开源ETL工具快30%以上，可稳定支撑每日数百亿数据的同步传输；

● 任务开发效率可大幅提升100%以上。

金融级高可用架构

数据任务采用最先新的先进先出队列模式产生和执行，所有数据任务执行节点根据自身的CPU以及内存使用率来主动领取任务执行，当CPU或内存被监控到超出指定指标后系统自动停止节点领取新的任务直到内存恢复到正常水平，系统可以保护每一个节点的稳定性避免内存溢出的问题出现、数据执行任务历史记录可以采用MongodDb多副本存储确保任务执行高可用。

产品优势

一、轻松操作

作为新一代全域数据集成平台提供全Web配置界面，可视化拖拉拽开发流程，效率超越传统ETL10倍以上，90%数据集成工作轻松完成，效率大幅提升。

图：产品主界面

图：任务监控界面

二、超强ETL能力

平台提供超强的数据处理能力，可满足任意复杂的数据处理流程的构建，同时提供丰富的组件，通过不同组件的组合使用，解决当前企业中面临的复杂数据集成需求。

图：ETL流程运行后的效果

三、简单上手

提供丰富的学习资源，包括视频、文档、在线直播、数据工程师可以轻松掌握平台功能和技巧。

四、快速成长

社群及论坛汇聚全国优秀数据集成工程师，分享经验、避坑指南。专家交流快速提升个人价值。

五、功能全面

集ETL/ELT/CDC/API于一体，支持100+数据库、1000+组件、1500+数据处理模板。零代码构建数据管道，轻松集成数据。

图：平台已打通的100+数据库

图：平台连接的1000+组件和模版市场

图：提供1500+数据处理模板

六、全面适配国产信创环境

聚焦国产化满足稳定兼容需求，构建安全可控的信息技术体系，加快建设信创产品高质量发展，合力共襄信创技术与产业突破。目前ETLCloud已完成相关产品兼容互认证，并成为信创工委会成员单位。

服务客户/使用人数

ETLCloud自推出以来已经广泛应用于零售业、制造业、金融业、教育及政府机构等众多行业，目前累计超5000+企业用户使用。

市场价值

ETLCloud是一款纯国产的集成了ETL/ELT/CDC的全域数据集成平台，集数据抽取、转换、清洗、脱敏、加载等功能于一体的一站式数据处理平台，采用轻量化架构普通用户只需通过简单的配置即可实现多种异构数据源之间抽取、转换和交换，可以快速帮助企业快速构建数据集成平台，ETLCloud可以全面替换国外以及开源的数据集成平台，业务用户通过可视化的拖、拉、拽即可快速完成数据集成流程的构建，且还提供广泛的应用及数据库链接器，能更全面的满足企业对离线和实时数据集成的需求，此外，ETLCloud作为标准化产品，快速落地实现数据的开发及运维一体化,实现架构敏捷化、轻量化，能更快速有效的帮助企业实现数据价值变现。

提示：直接点击文末左下角“阅读原文”链接可直达该产品官网页面。

产品所属企业·：谷云科技

谷云科技(广州)有限责任公司于2017年05月18日成立，是一家专注于以链接+数据+AI为核心的技术公司，致力于帮助企业实现各种应用、SaaS、数据和设备之间的无缝连接，构建高效协同的业务环境。通过自主研发的混合集成平台RestCloud iPaaS、全域数据集成平台ETLCloud、零代码自动化集成平台AppLink三大核心产品，以满足企业在数字化转型过程中的各种需求， 为全球大型头部企业及500强企业提供更高质量、更智能化的数字化解决方案。产品自推出以来已经广泛应用于快销、制造业、通讯业、金融业、军工业、 教育及政府机构等各类组织，目前已收获超过400+各行业头部企业的信任和支持，作为应用及数据集成专家，谷云科技立足成为世界级的集成领域领导者。